Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : journal of information technology and computer science jointecs

Gesture Recognition untuk Deteksi Bahasa Isyarat BISINDO: Pendekatan Mediapipe dan Random Forest Salsabila Ayuni Kaffah; Yudi Ramdhani
JOINTECS (Journal of Information Technology and Computer Science) Vol 8, No 3 (2023)
Publisher : Universitas Widyagama Malang

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31328/jointecs.v8i3.4813

Abstract

Gesture Recognition memainkan peran penting dalam memfasilitasi dan meningkatkan aksesibilitas komunikasi bagi individu dengan gangguan pendengaran dan bicara, Namun, dalam menerjemahkan bahasa isyarat yang kompleks menjadi bahasa lisan atau tulisan tetap menjadi tantangan yang signifikan. Berupaya untuk mengatasi hal tersebut, penelitian ini memanfaatkan framework MediaPipe dan algoritma Random Forest Classifier untuk mengklasifikasikan gerakan isyarat berbentuk ungkapan dan kata dalam bahasa isyarat BISINDO. Dengan mempertimbangkan tingkat kesulitan dan kompleksitas gerakan isyarat, 10 label ungkapan/kata dalam BISINDO dipilih dan menghasilkan total 25.000 data yang dipakai pada sistem di penelitian ini. Pendekatan ini melibatkan deteksi bahasa isyarat melalui pengenalan pose, gerakan tangan, dan ekspresi wajah. Hasil evaluasi menunjukkan algoritma Random Forest mencapai tingkat presisi, recall, F1-score, dan akurasi yang sangat tinggi (99,88%). Selain itu, sistem yang dikembangkan juga menunjukkan kinerja baik dengan rata - rata probabilitas prediksi berkisar antara 0,50 hingga 0,70 untuk prediksi yang benar, meskipun terdapat tantangan dalam membedakan gerakan isyarat yang mirip dan menyebabkan beberapa prediksi memerlukan waktu lebih lama untuk mencapai hasil yang tepat. Dengan hasil yang diperoleh, penelitian ini memberikan kontribusi penting dalam meningkatkan pengenalan bahasa isyarat dan mendorong inklusivitas bagi masyarakat dengan gangguan pendengaran dan bicara. Hal ini juga membuka peluang baru untuk pengembangan lebih lanjut dalam teknologi deteksi bahasa isyarat.
Co-Authors Achmad Nizar Hidayanto Ade Mubarok Adi Nurseptaji Adi Nurseptaji Adi Nurseptaji Ali Akbar Rismayadi Ali Akbar Rismayadi Alpiansah, Agung Bia Amin Fahri Andre Prayoga Arey Arey Asti Herliana, Asti B. Hariyanto, Oda I. Cakra Mahendra Putra Ce, Win Cucu Ika Agustyaningrum Dhia Fauziah Apra Djaya Siswaja, Hendy Doni Purnama Alamsyah Doni Purnama Alamsyah Dwiniati, Dwiniati Dwiza Riana Dwiza Riana Dwiza Riana Erfian Junianto Fadila Andini Febriyanti Panjaitan Febriyanti Panjaitan Fitri Khoirunnisa Fitriyani Fitriyani Ghanim Kanugrahan Haerul Hafizh Cahaya Putra, Vito Hariyanti, Ifani Hery Oktafiandi Hikmawati, Nina Kurnia Hiya Nalatissifa Hizaz Zakaria Yahya Iedam Fardian Anshori, Iedam Fardian Ina Najiyah Indriyati, Susana Irgi Mahendrata Saputra Kanugrahan, Ghanim Marko, Niki Mayya Nurbayanti Shobary Meirynda Lastika Rahimsyah Miftah Farid Adiwisastra Miftahul Rizal Moch Iqbal Tawakal Muckti, Masaldi Kharisma Muhamad Zakhy Syahaf Muhammad Amar Mustajab Mustajab, Muhammad Amar Nadia, Putri Nadiyah Hidayati Nanda Dwi Husna Sadikin Nandi Dwi Husni Sadikin Niki Marko Novia Andini Oktafiandy, Hery Oktaviani, Fani Rahma Permai, Antika Pratama Syahdan Nabil Pratiwi Pratiwi Rangga Sanjaya Rein Lantin Resdiana Pratama Riski Mardhianto Rizal Rosidin Rizki Tri Prasetio, Rizki Tri Sadikin, Nanda Dwi Husna Sadikin, Nandi Dwi Husni Salman Topiq Salsabila Ayuni Kaffah Sandini, Dwi Saputra, Irgi Mahendrata Sari Susanti Sari Susanti, Sari Satrio Rully Priyambodo Siti Rendani Anjaryanti Siti Utari, Diah Suherman, Himam Dwipratama Syarif Hidayatulloh Syarif Hidayatulloh Syarif Hidayatulloh Taufik Agung Pramana Tessa Putri Mallini Toni Arifin Wartika, Wartika Win Ce