Peningkatan Performa Model Pengenalan Hitungan Jari (1–5) Berbasis Konteks Budaya Menggunakan Lokalisasi YOLO, Transfer Learning, dan Grad-CAM untuk Explainable AI - Khawaritmi Abdallah Ahmad; Rahmat Syam; Mariani; Ahmad Talib (Pusat Studi Bahasa dan Publikasi Ilmiah, 2026)
Pengenalan gestur hitungan jari (1–5) atau daktilonomi memiliki peran fundamental dalam pembelajaran matematika dasar sebagai representasi kognitif yang terwujud (embodied numerosity). Namun, model klasifikasi pada Natural Hand Digit Dataset masih menunjukkan akurasi terbatas (sekitar 66%) akibat gangguan latar belakang, variasi posisi, dan pencahayaan. Penelitian ini bertujuan untuk meningkatkan performa pengenalan gestur angka melalui lokalisasi tangan berbasis YOLOv10x yang dilatih pada dataset HaGRID sebagai tahap pra-pemrosesan, serta mengintegrasikan Grad-CAM untuk explainable artificial intelligence (XAI). Metode yang digunakan terdiri atas deteksi dan pemotongan wilayah tangan menggunakan YOLOv10x, kemudian klasifikasi jumlah jari menggunakan transfer learning ResNet50 dengan fine-tuning dan callback. Hasil eksperimen menunjukkan bahwa penggunaan citra hasil lokalisasi tangan (cropped) meningkatkan akurasi hingga 73,98% dengan macro F1-score 72,44%, jauh lebih baik dibandingkan citra asli (akurasi 41,66%). Visualisasi Grad-CAM mengonfirmasi bahwa model benar-benar fokus pada konfigurasi jari yang relevan pada prediksi benar, sementara pada prediksi salah, peta aktivasi mengungkap penyebab kesalahan (misalnya angka