Implementation of a Virtual Mouse Based on Hand Gesture Recognition Using MediaPipe and OpenCV - Endang Ratnawati Djuwitaningrum; Dimas Rizqi Pangestu (Institut Teknologi Indonesia, 2025)
Seiring berkembangnya teknologi interaksi manusia dan komputer, manusia bisa berinteraksi dengan komputer tanpa harus menggunakan alat fisik seperti mouse. Salah satu caranya adalah dengan menggerakkan jari tangan di depan kamera (webcam), dan gerakan itu bisa dikenali untuk mengontrol komputer. Penelitian ini membuat sistem mouse virtual yang bisa mendeteksi gerakan jari secara waktu nyata (real-time) dan mengubahnya menjadi perintah untuk menggerakkan kursor, gerakan klik kanan, klik kiri, menggulir halaman (scroll), dan mengatur volume suara. Untuk mendeteksi 21 titik di tangan yang membantu sistem mengenali gerakan tangan, digunakan MediaPipe Hand Tracking. Dan untuk pengolahan gambar guna mengaktifkan fungsi mouse virtual seperti klik dan gerakan kursor, digunakan OpenCV (Open Computer Vision). Pengujian dilakukan pada jarak 30 cm dan 50 cm dari webcam, dengan pencahayaan dari bohlam LED sebesar 5 watt. Hasilnya, sistem bekerja sangat baik pada jarak 30 cm dengan tingkat keberhasilan 100%. Sedangkan pada jarak 50 cm, kinerja sistem sedikit menurun, terutama untuk klik kiri (70%) dan gerak kursor (80%). Secara keseluruhan, sistem ini berhasil menjalankan fungsi dengan baik, dengan tingkat keberhasilan rata-rata 95,8%. Sistem ini bisa dikembangkan lagi agar lebih maksimal untuk berbagai kebutuhan.