<![CDATA[Pengenalan gestur hitungan jari (1–5) atau daktilonomi memiliki peran fundamental dalam pembelajaran matematika dasar sebagai representasi kognitif yang terwujud (embodied numerosity). Namun, model klasifikasi pada Natural Hand Digit Dataset masih menunjukkan akurasi terbatas (sekitar 66%) akibat gangguan latar belakang, variasi posisi, dan pencahayaan. Penelitian ini bertujuan untuk meningkatkan performa pengenalan gestur angka melalui lokalisasi tangan berbasis YOLOv10x yang dilatih pada dataset HaGRID sebagai tahap pra-pemrosesan, serta mengintegrasikan Grad-CAM untuk explainable artificial intelligence (XAI). Metode yang digunakan terdiri atas deteksi dan pemotongan wilayah tangan menggunakan YOLOv10x, kemudian klasifikasi jumlah jari menggunakan transfer learning ResNet50 dengan fine-tuning dan callback. Hasil eksperimen menunjukkan bahwa penggunaan citra hasil lokalisasi tangan (cropped) meningkatkan akurasi hingga 73,98% dengan macro F1-score 72,44%, jauh lebih baik dibandingkan citra asli (akurasi 41,66%). Visualisasi Grad-CAM mengonfirmasi bahwa model benar-benar fokus pada konfigurasi jari yang relevan pada prediksi benar, sementara pada prediksi salah, peta aktivasi mengungkap penyebab kesalahan (misalnya angka "2" dikenali sebagai "1" karena fokus pada satu jari). Penelitian ini menyimpulkan bahwa pendekatan lokalisasi tangan sebelum klasifikasi efektif meningkatkan performa dan ketahanan sistem, sementara Grad-CAM memberikan transparansi dan interpretabilitas yang penting untuk membangun kepercayaan dalam aplikasi pembelajaran matematika interaktif.]]>
Copyrights © 2026
