Teknologi pengenalan aktivitas manusia (Human Activity Recognition / HAR) berbasis visual saat ini menghadapi tantangan besar dalam melakukan generalisasi model pada lingkungan riil yang dinamis akibat adanya domain shift, variasi pencahayaan, dan gangguan objek latar belakang. Penelitian ini bertujuan untuk menganalisis kinerja model hybrid berbasis Deep Learning yang mengintegrasikan algoritma YOLOv11 Pose Estimation sebagai ekstraktor koordinat rangka (keypoints) dan Convolutional Neural Network (CNN) sebagai pengklasifikasi aktivitas manusia. Eksperimen dilakukan menggunakan Dataset Merged sebanyak 2.624 citra yang menggabungkan dataset sekunder YOLO-mark dari Roboflow dan dataset primer hasil perekaman mandiri pada berbagai kondisi spasial terkontrol. Model dilatih secara mendalam menggunakan tiga skenario iterasi, yaitu 100, 150, dan 200 epochs. Hasil pengujian menunjukkan bahwa skenario 200 epochs merupakan model paling optimal dengan kurva loss yang mencapai titik konvergensi stabil dan berhasil memperoleh nilai metrik akurasi mean Average Precision (mAP@0.5) sebesar 0.986 serta F1-score sebesar 0.98. Melalui validasi dekomposisi biner (One-vs-Rest Confusion Matrix), model membuktikan tingkat reliabilitas klasifikasi yang merata di setiap kelas dengan rata-rata akurasi spesifik per kategori pose di atas 98.9%. Pengujian uji riil terhadap 10 citra mandiri acak mengonfirmasi ketangguhan model dalam menghasilkan rata-rata confidence score di atas 0.90. Kesimpulan dari penelitian ini membuktikan bahwa integrasi YOLOv11-CNN tidak hanya unggul di atas kertas, tetapi juga siap diimplementasikan sebagai antarmuka sistem kendali nirkabel tanpa sentuh (touchless gesture controller interface) yang adaptif dan responsif.
Copyrights © 2026