<![CDATA[Bahasa isyarat merupakan sistem komunikasi non-verbal yang memanfaatkan gerakan tangan, ekspresi wajah, dan pose tubuh untuk menyampaikan informasi secara visual. Meskipun umum digunakan oleh penyandang tunarungu dan tunawicara, bahasa isyarat masih belum dipahami secara luas oleh masyarakat umum, sehingga menimbulkan hambatan komunikasi dalam kehidupan sehari-hari. Untuk mendukung interaksi yang inklusif, SIBI (Sistem Isyarat Bahasa Indonesia) telah distandarisasi secara nasional sebagai bentuk bahasa isyarat formal di Indonesia. Seiring dengan kemajuan teknologi kecerdasan buatan, sistem penerjemahan bahasa isyarat berbasis penglihatan komputer (computer vision) menjadi solusi potensial untuk menjembatani kesenjangan komunikasi tersebut. Penelitian ini bertujuan mengembangkan sistem pengenalan SIBI secara real-time menggunakan MediaPipe Holistic untuk mendeteksi titik kunci (keypoints) pada tangan, wajah, dan pose secara simultan, yang kemudian dikonversi menjadi suara melalui teknologi text-to-speech. Tahapan pra-pemrosesan mencakup pembersihan data (data cleaning), pemotongan gambar (cropping), penghapusan latar belakang (background removal), dan konversi ke citra skala keabuan (convert to grayscale). Dataset yang digunakan terdiri dari 4.500 urutan gambar untuk 10 kata SIBI. Model Bi-directional LSTM digunakan untuk mengklasifikasikan pola spasial-temporal dari gestur. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 97,78% pada epoch ke-200, dengan precision, recall, dan F1-score masing-masing mencapai 98%. Pengujian pada lima variasi jarak menunjukkan bahwa deteksi optimal terjadi pada rentang 0,29 hingga 0,37 meter. Sistem ini berpotensi menjadi alat bantu komunikasi efektif bagi penyandang tunarungu dan tunawicara, serta dapat dikembangkan lebih lanjut sebagai fondasi aplikasi interaktif berbasis bahasa isyarat di masa depan. Abstract Sign language is a non-verbal communication system that utilizes hand gestures, facial expressions, and body pose to visually convey information. Although commonly used by Deaf and speech-impaired individuals, it remains poorly understood by the general public, resulting in communication barriers in daily life. To support inclusive interaction, SIBI (Sistem Isyarat Bahasa Indonesia) has been nationally standardized as the formal sign language in Indonesia. With the advancement of artificial intelligence, computer vision-based sign language translation systems have emerged as a promising solution to bridge this communication gap. This study aims to develop a real-time SIBI recognition system using MediaPipe Holistic to simultaneously detect key-points of the hands, face, and pose, followed by speech output generation via text-to-speech technology. The pre-processing pipeline includes data cleaning, cropping, background removal, and grayscale conversion. The dataset consists of 4,500 image sequences representing 10 commonly used SIBI words. A Bi-directional LSTM model is employed to classify spatial–temporal patterns extracted from the gesture sequences. Evaluation results show a classification accuracy of 97.78% at the 200th epoch, with precision, recall, and F1-score all reaching 98%. Performance testing across five distance variations revealed that optimal recognition occurs within the 0.29 to 0.37-meter range. These findings demonstrate that the proposed system is a highly effective assistive communication tool for the Deaf and speech-impaired. Furthermore, the system has the potential to be expanded into mobile applications for real-world interaction and can serve as a foundation for future development in recognizing more complex sign language expressions. ]]>
Copyrights © 2026
