Penggunaan Metode Deep Learning untuk Pengembangan Sistem Komunikasi Cerdas bagi Penyandang Disabilitas - NINGSIH, NORMA; RAMADHANI, AFIFAH DWI; SANTOSO, DJOKO; RAMADHANI, BINTANG DESTA; GHOFIQI, ILYASA AYASY EL (MIND (Multimedia Artificial Intelligent Networking Database) Journal, 2024)
ABSTRAKKomunikasi merupakan kebutuhan mendasar bagi mahluk hidup agar dapat berinteraksi dengan lingkungan sekitar. Di dunia, orang-orang disabilitas khususnya tuna rungu dan sulit mendengar sebagian besar berkomunikasi menggunakan bahasa isyarat Penelitian ini mengembangkan sistem klasifikasi Bahasa Isyarat Indonesia (SIBI) menggunakan model Convolutional Neural Network (CNN) VGG16 dan VGG19 yang diintegrasikan dengan aplikasi berbasis web. Sistem ini dirancang untuk membantu komunikasi dengan penyandang disabilitas melalui klasifikasi gerakan tangan secara real-time menggunakan gambar atau webcam. Hasil pengujian menunjukkan bahwa model mencapai akurasi sebesar 96,4% dengan nilai loss 0,1055, menunjukkan performa yang stabil dan generalisasi yang baik tanpa indikasi overfitting. Evaluasi menggunakan confusion matrix menunjukkan distribusi prediksi yang akurat pada 24 kelas isyarat tangan, dengan precision, recall, dan f1-score yang tinggi untuk setiap kelas. Sistem ini diharapkan dapat menjadi alat bantu komunikasi yang efektif bagi penyandang disabilitas dalam kehidupan sehari-hari. Kata kunci: Deep Learning, VGG16, Klasifikasi, SIBI, DisabilitasABSTRACTCommunication is a basic need for living things to interact with their environment. In the world, people with disabilities, especially deaf and hard of hearing, mostly communicate using sign language. This study develops an Indonesian Sign Language (SIBI) classification system using the VGG16 and VGG19 Convolutional Neural Network (CNN) models integrated with a web-based application. This system is designed to assist communication with people with disabilities through real-time hand gesture classification using images or webcams. The test results show that the model achieves an accuracy of 96.4% with a loss value of 0.1055, indicating stable performance and good generalization without any indication of overfitting. A confusion matrix evaluation shows an accurate prediction distribution across 24 hand gesture classes, with high precision, recall, and f1-score for each class. This system is expected to be an effective communication tool for people with disabilities in everyday life.Keywords: Deep Learning, VGG16, Classification, SIBI, Disability