IMPLEMENTASI DEEP LEARNING HYBRID RESNET50V2-BIGRU PADA APLIKASI WEB VISUAL SPEECH RECOGNITION BAGI KOMUNITAS TULI

Salma Nurfauziah (Universitas Muhammadiyah Sukabumi)

Jurnal Informatika dan Teknik Elektro Terapan
Vol. 14 No. 3 (2026)

Visual Speech Recognition (VSR) merupakan teknologi komunikasi krusial bagi komunitas Tuli, terutama di lingkungan bising di mana sistem berbasis audio gagal berfungsi. Pengembangan VSR untuk bahasa Indonesia menghadapi tantangan kelangkaan dataset audio-visual dan tingginya ambiguitas kata homofon. Selain itu, tingginya beban komputasi data video seringkali menghambat implementasi pada platform web. Oleh karena itu, penelitian ini bertujuan mengembangkan sistem VSR bahasa Indonesia yang efisien menggunakan arsitektur hibrida untuk aplikasi web responsif. Metodologi yang digunakan adalah CRISP-ML(Q). Ekstraksi fitur visual spasial dilakukan menggunakan jaringan pre-trained ResNet50V2, dikombinasikan dengan Bidirectional Gated Recurrent Unit (Bi-GRU) untuk memodelkan dependensi sekuensial temporal. Model dilatih dengan dataset publik LUMINA dan dievaluasi menggunakan 250 sampel video dataset privat. Hasil eksperimen menunjukkan akurasi validasi mencapai 95,49%. Pada pengujian data baru, sistem mencatat Word Error Rate (WER) sebesar 11,18% dan Character Error Rate (CER) 8,74%. Implementasi berbasis web menggunakan Streamlit mencapai waktu respons inferensi 2-4 detik. Kesimpulannya, model ini sukses menerjemahkan gerakan bibir menjadi teks secara akurat dan menyediakan alat komunikasi responsif bagi penyandang disabilitas rungu.