p-Index From 2021 - 2026
6.211
P-Index
This Author published in this journals
All Journal Sinergi Shaut Al-'Arabiyah INTEKNA Pharmauho: Jurnal Farmasi, Sains, dan Kesehatan Profetika AJIS : Academic Journal of Islamic Studies Dinamika Ilmu BERDIKARI : Jurnal Inovasi dan Penerapan Ipteks JTERA (Jurnal Teknologi Rekayasa) Pendas : Jurnah Ilmiah Pendidikan Dasar Al Qalam: Jurnal Ilmiah Keagamaan dan Kemasyarakatan Jurnal Media Elektro : Journal of Electrical Power, Informatics, Telecommunication, Electronics, Computer and Control System Martabe : Jurnal Pengabdian Kepada Masyarakat JURNAL PENDIDIKAN TAMBUSAI Jurnal Basicedu Media Ilmiah Teknik Sipil Jurnal Kreativitas PKM JOURNAL OF SCIENCE AND SOCIAL RESEARCH Jurnal EDUCATIO: Jurnal Pendidikan Indonesia IJISH (International Journal of Islamic Studies and Humanities) SCAFFOLDING: Jurnal Pendidikan Islam dan Multikulturalisme PREPOTIF : Jurnal Kesehatan Masyarakat International Journal of Islamic Educational Psychology Community Empowerment HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi Jurnal Agrisistem: Seri Sosek dan Penyuluhan JUMORA: Jurnal Moderasi Olahraga JURNAL GEOGRAFIKA (GEOGRAFI LINGKUNGAN LAHAN BASAH) Jurnal Impresi Indonesia Jurnal Basicedu YASIN: Jurnal Pendidikan dan Sosial Budaya VARIANSI: Journal of Statistics and Its Application on Teaching and Research All Fields of Science Journal Liaison Academia and Sosiety Eduvest - Journal of Universal Studies Jurnal Pengabdian Masyarakat Bangsa Journal of Entrepreneur, Business and Management Kultura: Jurnal Ilmu Sosial dan Humaniora Ekodestinasi : Jurnal Ekonomi, Bisnis, dan Pariwisata Pamasa: Jurnal Pengabdian kepada Masyarakat Jurnal Pengabdian Masyarakat dan Riset Pendidikan Jurnal Polimesin Dinamika Kerajinan dan Batik: Majalah Ilmiah
Claim Missing Document
Check
Articles

PENERAPAN KECERDASAN BUATAN DALAM SISTEM PENGENALAN GERAK TANGAN UNTUK MENDUKUNG KOMUNIKASI PADA PENYANDANG TUNAWICARA: APPLICATION OF ARTIFICIAL INTELLIGENCE IN A HAND GESTURE RECOGNITION SYSTEM TO SUPPORT COMMUNICATION FOR PEOPLE WITH SPEECH IMPAIRMENTS Ardiansyah, Rija; Zamroni, Rio; Azhar, Muhammad; Mahesa, Kevin Indra; Reza, Syaiful Fan; Arkananta, Yudhistira; Nainggolan, Esron Richardo; Brawijaya, Herlambang
HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi Vol. 17 No. 1 (2026): Jurnal HOAQ - Teknologi Informasi
Publisher : STIKOM Uyelindo Kupang

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.52972/hoaq.vol17no1.p53-61

Abstract

Perkembangan teknologi kecerdasan buatan (AI) telah mendorong peningkatan signifikan dalam interaksi antara manusia dan mesin, khususnya dalam menyediakan akses komunikasi yang lebih baik bagi individu dengan gangguan bicara. Penelitian ini mengusulkan sebuah sistem penerjemah Bahasa Isyarat Indonesia (BISINDO) berbasis computer vision yang mengintegrasikan deteksi landmark tangan secara real-time menggunakan MediaPipe dengan proses klasifikasi gestur berbasis Convolutional Neural Network (CNN). Sistem ini dirancang untuk mengenali pola gerakan tangan secara dinamis dan mengubahnya menjadi teks atau suara sintetis melalui modul Google Text-to-Speech (gTTS). Pendekatan yang digunakan menggabungkan analisis spasial dan temporal untuk menghasilkan interpretasi gestur yang akurat dan responsif terhadap konteks. Penelitian ini juga mengidentifikasi tantangan implementasi terkait kemampuan generalisasi model terhadap perbedaan pengguna, kondisi pencahayaan, dan lingkungan, serta menawarkan solusi melalui teknik augmentasi data dan optimalisasi arsitektur jaringan saraf. Dengan desain yang fleksibel dan adaptif, sistem ini memiliki potensi besar untuk menjadi dasar pengembangan teknologi bantuan komunikasi inklusif berbasis AI di Indonesia serta mendorong kolaborasi antara bidang visi komputer, bahasa isyarat, dan teknologi Internet of Things (IoT).   Advances in artificial intelligence (AI) technology have driven significant improvements in human–machine interaction, particularly in enhancing communication accessibility for individuals with speech impairments. This study proposes an Indonesian Sign Language (BISINDO) interpreter system based on computer vision, integrating real-time hand landmark detection using the MediaPipe framework with gesture classification powered by a Convolutional Neural Network (CNN). The system is designed to dynamically recognize hand gesture patterns and convert them into text or synthetic speech through the Google Text-to-Speech (gTTS) module. This approach combines spatial and temporal analysis to produce accurate and contextually responsive gesture interpretations. The study also identifies implementation challenges related to the model’s generalizability across different users, lighting conditions, and environments, while offering solutions through data augmentation techniques and neural network architecture optimization. With its flexible and adaptive design, the proposed system has strong potential to serve as a foundation for the development of AI-based inclusive communication technologies in Indonesia and to foster collaboration across the fields of computer vision, sign language, and Internet of Things (IoT) applications.
Co-Authors Abdul Ghofar Abdul Gofur Abdul Wahab Abubakar, Usman Achmad Fajruddin Fatwa Adhan, Achmad Maulana Adhianty Nurjanah Agus Setyo Muntohar Ahmad Fauzan Ahmad Hidayat ahmad yani Akbar, Raihan Akbar, Sabila Al-Razi, Muhammad Fakhruddin Amiruddin Siahaan Ananda, Rusydi Andy Angga Frananda Aprinita, Cindy Ardiansyah, Rija Arkananta, Yudhistira Asari, Siti Asyabaabudzaki, Asyabaabudzaki Azam Syukur Rahmatullah, Azam Syukur Azmil, Mimil Bara, Aulia Akbar Batu Budi Kurniawan Cahyani, Nabila Rahma carsiwan, carsiwan Damanik, Maikhel Samuel Dani, Sulis Mawar Darojat, Zulfiqar Ahsani Daulay, Aidil Ridwan Della, Alfa Dewi Anggraini Diana, Ega Dongoran, Rahmita Murdiaty Edi Hartono Ekasari, Nurlita Elghaniyya, Raihan Fajariah, Nurul Fauzi, Mhd Gumilar, Agus Hadi Santoso Harahap, Fiki Robi Handoko Harahap, Khairunnisa Herlambang Brawijaya Hifni, Azizah Husanda, Meisy Indrayani, A Fahmi Indriani, Lia Jana, La Januri Karim Karim, Karim Khairani, Diva Ghefira Mahardika Khalisa, Andi Thafida Kiki Kurniawan Laila Sari Masyhur Lonta, Usman Lusy Asa Akhrani, Lusy Asa Mahesa, Kevin Indra Malaka, Muhammad Hajrul Mariah Kibtiyah, Mariah Ma’rifah, Nurul Melda, Melda Moraida Hasanah Mstamin, Mustamin Muhammad Afif Muhammad Anis, Muhammad Muhammad Hafiz Muhammad Heri Zulfiar, Muhammad Heri Munajar, Muhammad Chairi Murdianto, Deny Muya Ryan Hidayat Nafi'an, Muh. Ilman Nainggolan, Esron Richardo Nasrullah Nasrullah Nisa, Nabila Khairun Nugraha, Reshandi nur azizah, azizah Nurdin, Muh. Firdan Nurshabrina, Qonita Nurwijayanti pasaribu, mudiul hayat Perangin-angin, Despaleri Permana, Yandi Popy Yuniar Prakoso, Arta Usamah Purnomo, Halim Rahmadani, Rian Nur Rahmadsyah, Rahmadsyah Rahmi, Hendryati Renesteen, Editha Reza, Syaiful Fan Ridhani Noor Fauzi, Ahmad Rini Hamsidi Ritonga, Mukail Rusdi Kasman Sadun, Sadun Sahidin . Salminawati Sapuadi, Sapuadi Saputra, M. Ripani Sari, Dian Candra Rini Novita Sartika, Maharani Satria Abdi, Nurul Sayuti, Muhammad Selvi Annisa Shinta Tri Kismanti Shuhaib, Shuhaib Sintiya, Sindy Siregar, Vera Yunita Subiyakto, Yuli Sudirman Sudirman Sungkono Suud, Fitriah M. Suwindi, Akhmad Syahru Akram, Aqil Tanjung, Lidra Agustina Waluyo, Marhadi Budi Wardhani, Bantari Wisynu Kusuma Willis Diana Yodha, Agung Wibawa Mahatva Zainal, Abdul Qahar Zaini Dahlan Zamroni, Rio