Malcom: Indonesian Journal of Machine Learning and Computer Science
Vol. 5 No. 3 (2025): MALCOM July 2025

Implementasi YOLO11 dan OpenCV untuk Pengenalan Frasa dalam Video Real-Time Bahasa Isyarat Tangan: YOLO11 and OpenCV Implementation for Phrase Recognition in Real-Time Hand Sign Language Videos

Swasono, Henoch Yanuar Ari (Unknown)
Himamunanto, Agustinus Rudatyo (Unknown)
Maedjaja, Febe (Unknown)



Article Info

Publish Date
31 Jul 2025

Abstract

Bahasa isyarat adalah alat komunikasi utama bagi para penyandang tunarungu dan tunawicara. Namun, terbatasnya pemahaman bahasa isyarat oleh masyarakat umum sering kali menjadi kendala dalam berkomunikasi. Penelitian ini bertujuan untuk merancang program pengenalan frasa bahasa isyarat tangan BISINDO secara real-time dengan menggunakan algoritma YOLO11 dan library OpenCV. YOLO11 digunakan sebagai metode deep learning untuk mengenali isyarat tangan, sedangkan OpenCV digunakan untuk pemrosesan video real-time dan visualisasi hasil deteksi. Model ini dilatih menggunakan lebih dari 3.000 gambar yang mewakili enam class frasa BISINDO: “saya”, “kamu”, “senang”, “bingung”, “marah”, dan “apa kabar”, sebanyak 263 epoch. Hasil pengujian model menunjukkan rata-rata nilai precision dan recall di atas 0,9; F1-Score sebesar 0,982; mAP50 sebesar 0,993; dan mAP50-95 sebesar 0,938. Pada pengujian real-time, model menunjukkan latency rata-rata stabil di kisaran 80-90ms, frame rate 11-12FPS, dan confidence score rata-rata 0,9 untuk semua class. Berdasarkan Penelitian yang telah dilakukan, disimpulkan bahwa integrasi YOLO11 dan OpenCV berhasil digunakan sebagai algoritma dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time.

Copyrights © 2025






Journal Info

Abbrev

malcom

Publisher

Subject

Computer Science & IT

Description

MALCOM: Indonesian Journal of Machine Learning and Computer Science is a scientific journal published by the Institut Riset dan Publikasi Indonesia (IRPI) in collaboration with several Universities throughout Riau and Indonesia. MALCOM will be published 2 (two) times a year, April and October, each ...