PROGRAM PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) SECARA REAL TIME MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK DAN MEDIAPIPE - William Lijaya Therry, Renaldy; Junaidi, Achmad; Nugroho Sihananto, Andreas (JATI (Jurnal Mahasiswa Teknik Informatika), 2024)
Komunikasi adalah salah satu aspek penting dalam kehidupan sehari-hari, namun bagi komunitas tuna rungu dan tuna wicara, komunikasi dapat menjadi tantangan besar. Bahasa isyarat Indonesia (BISINDO) merupakan salah satu alat komunikasi yang digunakan oleh komunitas ini, namun masih banyak masyarakat umum yang tidak memahami bahasa isyarat tersebut. Hal ini dapat menyebabkan kesulitan dalam berkomunikasi dan membatasi akses komunitas tuna rungu dan tuna wicara dalam berpartisipasi dalam kegiatan sosial dan ekonomi. Oleh karena itu, pengembangan sistem deteksi bahasa isyarat yang akurat sangat penting untuk memfasilitasi komunikasi antara komunitas tuna rungu, tuna wicara dan masyarakat umum. Pada penelitian ini, penulis mengembangkan program penerjemah bahasa isyarat Indonesia menggunakan Convolutional Neural Network (CNN) dan MediaPipe, program ini memiliki keterbatasan, yaitu arah pembacaan proses deteksi berada pada tangan kanan dan program ini hanya dapat mendeteksi abjad BISINDO. Hasil pelatihan model menunjukkan akurasi sebesar 98.59%, loss sebesar 13.03%,, akurasi validasi sebesar 93.78%, validation loss sebesar 32.15%. Hasil evaluasi model, model dapat mendeteksi abjad bahasa isyarat Indonesia dengan akurasi sebesar 94%.,. Hasil pengujian akurasi deteksi pada empat skenario Hasil deteksi terbaik diperoleh pada skenario pertama, yaitu pencahayaan baik dan latar belakang gelap dengan nilai akurasi sebesar 72%, presisi sebesar 69.5%, recall sebesar 68% dan F1-score sebesar 68.7%.