Swasono, Henoch Yanuar Ari
Unknown Affiliation

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

Implementasi YOLO11 dan OpenCV untuk Pengenalan Frasa dalam Video Real-Time Bahasa Isyarat Tangan: YOLO11 and OpenCV Implementation for Phrase Recognition in Real-Time Hand Sign Language Videos Swasono, Henoch Yanuar Ari; Himamunanto, Agustinus Rudatyo; Maedjaja, Febe
MALCOM: Indonesian Journal of Machine Learning and Computer Science Vol. 5 No. 3 (2025): MALCOM July 2025
Publisher : Institut Riset dan Publikasi Indonesia

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.57152/malcom.v5i3.2130

Abstract

Bahasa isyarat adalah alat komunikasi utama bagi para penyandang tunarungu dan tunawicara. Namun, terbatasnya pemahaman bahasa isyarat oleh masyarakat umum sering kali menjadi kendala dalam berkomunikasi. Penelitian ini bertujuan untuk merancang program pengenalan frasa bahasa isyarat tangan BISINDO secara real-time dengan menggunakan algoritma YOLO11 dan library OpenCV. YOLO11 digunakan sebagai metode deep learning untuk mengenali isyarat tangan, sedangkan OpenCV digunakan untuk pemrosesan video real-time dan visualisasi hasil deteksi. Model ini dilatih menggunakan lebih dari 3.000 gambar yang mewakili enam class frasa BISINDO: “saya”, “kamu”, “senang”, “bingung”, “marah”, dan “apa kabar”, sebanyak 263 epoch. Hasil pengujian model menunjukkan rata-rata nilai precision dan recall di atas 0,9; F1-Score sebesar 0,982; mAP50 sebesar 0,993; dan mAP50-95 sebesar 0,938. Pada pengujian real-time, model menunjukkan latency rata-rata stabil di kisaran 80-90ms, frame rate 11-12FPS, dan confidence score rata-rata 0,9 untuk semua class. Berdasarkan Penelitian yang telah dilakukan, disimpulkan bahwa integrasi YOLO11 dan OpenCV berhasil digunakan sebagai algoritma dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time.