IMPLEMENTASI VIRTUAL MOUSE BERBASIS HAND GESTURE RECOGNITION DENGAN MEDIAPIPE DAN CONVOLUTIONAL NEURAL NETWORK - Suki, Steven; Lubis, Chairisni; Pragantha, Jeanny (Department of Informatics Engineering, Faculty of Science and Technology, Universitas Islam Negeri Alauddin, Makassar, Indonesia, 2025)
Hand gesture recognition merupakan bentuk interaksi manusia-komputer yang inovatif dengan memanfaatkan gerakan tangan sebagai input. Penelitian ini bertujuan mengembangkan dan mengevaluasi aplikasi virtual mouse berbasis gerakan tangan untuk mengatasi keterbatasan perangkat input konvensional seperti masalah mobilitas dan ketergantungan hardware. Sistem dirancang menggunakan kombinasi hand landmark detection dengan MediaPipe untuk ekstraksi fitur tangan dan Custom Convolutional Neural Network (CNN) untuk mengenali pola gerakan. Hasil evaluasi menunjukkan performa model yang sangat baik dengan akurasi pelatihan mendekati 99% dan akurasi validasi mencapai 99,9%. Dalam pengujian aplikasi, sistem berhasil mengenali gestur dengan sempurna (100%) pada latar belakang putih, sedangkan pada latar belakang bervariasi tingkat keberhasilannya mencapai 66%. Temuan ini membuktikan bahwa solusi virtual mouse berbasis gerakan tangan dapat berfungsi efektif dalam kondisi terkendali, meskipun masih memiliki tantangan pada lingkungan dengan latar belakang kompleks.