Prosiding Seminar Nasional Teknologi Informasi dan Bisnis
Prosiding Seminar Nasional Teknologi Informasi dan Bisnis (SENATIB) 2025

Deteksi Bahasa Isyarat Indonesia (SIBI) dengan MediaPipe dan Feedforward Neural Network

Brilliant Firdaus, Azkha (Unknown)
Satrio Atmojo, Fattah (Unknown)
Choirul Ananda, Naufal (Unknown)
Gilang Pramudito, Vincensius (Unknown)
Dwi Irawan, Ridwan (Unknown)



Article Info

Publish Date
26 Jul 2025

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi huruf alfabet dalam Sistem Isyarat Bahasa Indonesia (SIBI) secara real-time menggunakan teknologi pengolahan citra dan kecerdasan buatan. Sistem dibangun melalui pendekatan machine learning pipeline dengan lima tahap utama: pengumpulan data, ekstraksi fitur, pelatihan model, evaluasi model, dan implementasi real-time. Data diperoleh dari Kaggle dan mencakup 24 kelas huruf (kecuali J dan Z), masing-masing terdiri dari 220 gambar. Ekstraksi fitur dilakukan dengan MediaPipe yang menghasilkan 63 fitur numerik dari 21 titik landmark tangan. Model klasifikasi dilatih menggunakan algoritma Feedforward Neural Network (FFNN) dengan dua lapis tersembunyi, fungsi aktivasi ReLU, serta teknik dropout untuk menghindari overfitting. Setelah 100 epoch pelatihan, model mencapai akurasi validasi sebesar 51,23%. Evaluasi menunjukkan beberapa huruf memiliki akurasi tinggi, sementara huruf lain cenderung membingungkan sistem karena bentuk gestur yang mirip. Sistem berhasil diuji secara real-time menggunakan kamera laptop dengan hasil yang menjanjikan. Deteksi huruf A, B, dan D masing-masing memperoleh nilai akurasi 0.98, 0.89, dan 0.94. Hasil ini menunjukkan bahwa kombinasi MediaPipe dan FFNN memberikan hasil akurasi mendekati 1 untuk mengenali bahasa isyarat Indonesia dalam bentuk huruf secara langsung. Penelitian ini menjadi langkah awal menuju sistem penerjemahan SIBI yang lebih menyeluruh dan aplikatif, khususnya dalam mendukung komunikasi bagi penyandang disabilitas.

Copyrights © 2025






Journal Info

Abbrev

Senatib

Publisher

Subject

Computer Science & IT Control & Systems Engineering Decision Sciences, Operations Research & Management Economics, Econometrics & Finance Electrical & Electronics Engineering Engineering Industrial & Manufacturing Engineering Mechanical Engineering Physics

Description

Prosiding SENATIB adalah kegiatan seminar berskala nasional yang diselenggarakan oleh Fakultas Ilmu Komputer Universitas Duta Bangsa Surakarta dalam rangka diseminasi hasil penelitian tentang teknologi informasi dan bisnis. Diharapkan pada tahun 2022 melalui penerbitan prosiding ini dapat terwujud ...