PENERAPAN KECERDASAN BUATAN DALAM SISTEM PENGENALAN GERAK TANGAN UNTUK MENDUKUNG KOMUNIKASI PADA PENYANDANG TUNAWICARA: APPLICATION OF ARTIFICIAL INTELLIGENCE IN A HAND GESTURE RECOGNITION SYSTEM TO SUPPORT COMMUNICATION FOR PEOPLE WITH SPEECH IMPAIRMENTS - Ardiansyah, Rija; Zamroni, Rio; Azhar, Muhammad; Mahesa, Kevin Indra; Reza, Syaiful Fan; Arkananta, Yudhistira; Nainggolan, Esron Richardo; Brawijaya, Herlambang (STIKOM Uyelindo Kupang, 2026)
Perkembangan teknologi kecerdasan buatan (AI) telah mendorong peningkatan signifikan dalam interaksi antara manusia dan mesin, khususnya dalam menyediakan akses komunikasi yang lebih baik bagi individu dengan gangguan bicara. Penelitian ini mengusulkan sebuah sistem penerjemah Bahasa Isyarat Indonesia (BISINDO) berbasis computer vision yang mengintegrasikan deteksi landmark tangan secara real-time menggunakan MediaPipe dengan proses klasifikasi gestur berbasis Convolutional Neural Network (CNN). Sistem ini dirancang untuk mengenali pola gerakan tangan secara dinamis dan mengubahnya menjadi teks atau suara sintetis melalui modul Google Text-to-Speech (gTTS). Pendekatan yang digunakan menggabungkan analisis spasial dan temporal untuk menghasilkan interpretasi gestur yang akurat dan responsif terhadap konteks. Penelitian ini juga mengidentifikasi tantangan implementasi terkait kemampuan generalisasi model terhadap perbedaan pengguna, kondisi pencahayaan, dan lingkungan, serta menawarkan solusi melalui teknik augmentasi data dan optimalisasi arsitektur jaringan saraf. Dengan desain yang fleksibel dan adaptif, sistem ini memiliki potensi besar untuk menjadi dasar pengembangan teknologi bantuan komunikasi inklusif berbasis AI di Indonesia serta mendorong kolaborasi antara bidang visi komputer, bahasa isyarat, dan teknologi Internet of Things (IoT). Advances in artificial intelligence (AI) technology have driven significant improvements in human–machine interaction, particularly in enhancing communication accessibility for individuals with speech impairments. This study proposes an Indonesian Sign Language (BISINDO) interpreter system based on computer vision, integrating real-time hand landmark detection using the MediaPipe framework with gesture classification powered by a Convolutional Neural Network (CNN). The system is designed to dynamically recognize hand gesture patterns and convert them into text or synthetic speech through the Google Text-to-Speech (gTTS) module. This approach combines spatial and temporal analysis to produce accurate and contextually responsive gesture interpretations. The study also identifies implementation challenges related to the model’s generalizability across different users, lighting conditions, and environments, while offering solutions through data augmentation techniques and neural network architecture optimization. With its flexible and adaptive design, the proposed system has strong potential to serve as a foundation for the development of AI-based inclusive communication technologies in Indonesia and to foster collaboration across the fields of computer vision, sign language, and Internet of Things (IoT) applications.