Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : MIND (Multimedia Artificial Intelligent Networking Database) Journal

Penggunaan Metode Deep Learning untuk Pengembangan Sistem Komunikasi Cerdas bagi Penyandang Disabilitas NINGSIH, NORMA; RAMADHANI, AFIFAH DWI; SANTOSO, DJOKO; RAMADHANI, BINTANG DESTA; GHOFIQI, ILYASA AYASY EL
MIND (Multimedia Artificial Intelligent Networking Database) Journal Vol 9, No 2 (2024): MIND Journal
Publisher : Institut Teknologi Nasional Bandung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26760/mindjournal.v9i2.206-219

Abstract

ABSTRAKKomunikasi merupakan kebutuhan mendasar bagi mahluk hidup agar dapat berinteraksi dengan lingkungan sekitar. Di dunia, orang-orang disabilitas khususnya tuna rungu dan sulit mendengar sebagian besar berkomunikasi menggunakan bahasa isyarat Penelitian ini mengembangkan sistem klasifikasi Bahasa Isyarat Indonesia (SIBI) menggunakan model Convolutional Neural Network (CNN) VGG16 dan VGG19 yang diintegrasikan dengan aplikasi berbasis web. Sistem ini dirancang untuk membantu komunikasi dengan penyandang disabilitas melalui klasifikasi gerakan tangan secara real-time menggunakan gambar atau webcam. Hasil pengujian menunjukkan bahwa model mencapai akurasi sebesar 96,4% dengan nilai loss 0,1055, menunjukkan performa yang stabil dan generalisasi yang baik tanpa indikasi overfitting. Evaluasi menggunakan confusion matrix menunjukkan distribusi prediksi yang akurat pada 24 kelas isyarat tangan, dengan precision, recall, dan f1-score yang tinggi untuk setiap kelas. Sistem ini diharapkan dapat menjadi alat bantu komunikasi yang efektif bagi penyandang disabilitas dalam kehidupan sehari-hari. Kata kunci: Deep Learning, VGG16, Klasifikasi, SIBI, DisabilitasABSTRACTCommunication is a basic need for living things to interact with their environment. In the world, people with disabilities, especially deaf and hard of hearing, mostly communicate using sign language. This study develops an Indonesian Sign Language (SIBI) classification system using the VGG16 and VGG19 Convolutional Neural Network (CNN) models integrated with a web-based application. This system is designed to assist communication with people with disabilities through real-time hand gesture classification using images or webcams. The test results show that the model achieves an accuracy of 96.4% with a loss value of 0.1055, indicating stable performance and good generalization without any indication of overfitting. A confusion matrix evaluation shows an accurate prediction distribution across 24 hand gesture classes, with high precision, recall, and f1-score for each class. This system is expected to be an effective communication tool for people with disabilities in everyday life.Keywords: Deep Learning, VGG16, Classification, SIBI, Disability
Co-Authors Abd. Malik Syamlan Achmad Faishal Afifah Dwi Ramadhani Afifah Dwi Ramadhani Ahmad Febri Amala, Khamim Ahsanu Amang Sudarsono, Amang Anang Siswanto, Anang Andaya Lestari Angeline Anjik Sukmaaji Aprianto Arda Fikri Saudi Aries Pratiarso Aries Pratiarso, Aries Arofah, Mohammad Firdaus Bahri Ayouvi Poerna Wardhanie Ayouvi Poernawardhanie Bagus Mardianto Bintang Desta Ramadhani Brahmastya Mahardhika dewantara Delfan Azhar Andhika Deny Yulian dewantara, Brahmastya Mahardhika Dewi yani Sunarto dewi, diva rosalina dewi, diva rosalina Djoko Santoso Edy Prasetyo Endryco Farel Rianrachmatullah Faishal, Achmad Firmanto, Rendy Destara Firmanto, Rendy Destara Fitriansyah, Mochammad Afri Gamantyo Hendrantoro GHOFIQI, ILYASA AYASY EL Hadi, Mochammad Zen Samsono Harianto Harianto Harianto Harianto Harianto Harianto Haryadi Amran Henry Bambang Setyawan I Gede Adi Wijaya I Gede Puja Astawa I Gede Puja Astawa Ida Anisah Imelda, Maritha Istiqomah, Belgis Medina Julianto Lemantara Karimatun Nisa Karimatun Nisa’ Larasati, Vina M. J. Dewiyani Sunarto M.J. Dewiyani Sunarto Mike Yuliana Mochammad Afri Fitriansyah Mochammad Arifin Mochammad Zen Samsono Hadi Mohamad Ridwan Mohammad Firdaus Bahri Arofah Muhammad Alvin Agung Gumelar Muna, Nailul Nadziroh, Faridatun Nailul Muna Nanang Syahroni Nur Azizah Nurcahya, Aditya Onastatia Sahartian Pantjawati Sudarmaningtyas Pramesti, Shelvi Damayana Prasetio, Rohmad Aris Prasetyo, Wildan Harits Pratama, Denny Putra Yudha Prima Kristalina Putra Fajar Sandy Yudha Putra, Rendra Pratama Putra, Rendra Pratama Rachmansyah Anessa Putra Rahardita Widyatra Rahmawati, Endra Ramadhani, Afifah Dwi RAMADHANI, BINTANG DESTA Rendra Pratama Putra Rini Satiti Rokhmat Albasyih Satiti, Rini Slamet Sulistiowati Sulistiowati Sulistiowati Sulistiowati Sulistiowati, Sulistiowati Sunarto, Dewi Yani Teguh Sutanto Tony Soebijono Tri Sagirani Valentinus Roby Hananto Vina Larasati Vivine Nurcahyawati Wahyuningtyas, Nunuk Wibowo, Septian Agung Wulandari, Sri Hariani Eko Yudha, Putra Fajar Sandy Yudha, Putra Fajar Sandy yudistira yusonanda Zaki Abdurrahman Zain