Pengenalan gestur tangan berbasis visi komputer menawarkan metode interaksi yang lebih intuitif untuk mengendalikan Differential Drive Mobile Robot (DDMR). Penelitian ini bertujuan membandingkan dua pendekatan deep learning yang berbeda, yaitu YOLOv11 sebagai model deteksi objek dan ResNet-50 sebagai model klasifikasi citra. Dataset terdiri atas 500 citra yang terbagi ke dalam lima kelas gestur, yaitu maju, mundur, belok kanan, belok kiri, dan berhenti. Kedua model dilatih menggunakan pendekatan transfer learning dan dievaluasi melalui pengujian internal serta pengujian langsung menggunakan kamera pada sistem kendali robot. Hasil evaluasi internal menunjukkan bahwa YOLOv11 memperoleh nilai mAP50 sebesar 0,995 dan mAP50–95 sebesar 0,784, sedangkan ResNet-50 menghasilkan nilai precision, recall, dan F1-score sebesar 1,000 pada seluruh kelas. Meskipun demikian, hasil pengujian langsung menunjukkan perbedaan yang signifikan. YOLOv11 menghasilkan nilai confidence pada rentang 0,80–0,90 dengan rata-rata 0,844, sedangkan ResNet-50 memperoleh nilai confidence pada rentang 0,32–0,77 dengan rata-rata 0,442. Perbedaan antara evaluasi internal dan pengujian langsung menunjukkan adanya domain gap antara citra dataset dan citra pada kondisi operasional. Berdasarkan skenario pengujian penelitian ini, YOLOv11 menghasilkan nilai confidence yang lebih tinggi dan lebih konsisten sehingga lebih sesuai digunakan untuk pengenalan gestur tangan pada kendali DDMR. Kontribusi penelitian ini terletak pada evaluasi komparatif antara pendekatan deteksi objek dan klasifikasi citra, tidak hanya pada dataset internal, tetapi juga pada penerapan langsung untuk kendali robot berbasis kamera.
Copyrights © 2026