Rancang Bangun Aplikasi Mobile Pengenalan Bahasa Isyarat Berbasis Machine Learning (Studi Kasus: SLB Putra Mandiri Surabaya) - Nafis Difaudin; Mochamad Nizar Palefi Ma’ady; Purnama Anaking (eProceedings of Engineering, 2025)
Komunikasi merupakan kebutuhan dasar manusia, termasuk bagi penyandang tuna rungu dan tuna wicara. Penelitian ini dilakukan di SLB Putra Mandiri Surabaya, yang menunjukkan bahwa masih banyak siswa belum menguasai bahasa isyarat SIBI dengan baik. Untuk menjawab permasalahan tersebut, dikembangkan aplikasi mobile pembelajaran dan penerjemah bahasa isyarat berbasis machine learning menggunakan metode prototype. Metode ini dipilih karena memungkinkan pengembangan yang fleksibel dan berbasis umpan balik pengguna. Fitur utama aplikasi ini adalah kamera penerjemah real-time yang menggunakan model Convolutional Neural Network (CNN) untuk mengenali gestur tangan. Ekstraksi fitur dilakukan menggunakan MediaPipe, sementara pelatihan model menggunakan dataset gesture SIBI dari Kaggle serta input manual. Model dilatih menggunakan TensorFlow dan diimplementasikan melalui API Flask yang terintegrasi ke aplikasi Flutter. Selain fitur penerjemah, aplikasi ini menyediakan modul pembelajaran berupa kamus alfabet isyarat, video pembelajaran, dan kuis edukatif. Hasil pengujian menunjukkan aplikasi mampu mengenali gesture secara akurat serta meningkatkan pemahaman siswa terhadap SIBI. Hasil yang diharapkan adalah terciptanya sebuah aplikasi edukatif yang dapat meningkatkan keterampilan komunikasi siswa tunarungu, memudahkan proses belajar SIBI, dan memperkaya interaksi sosial mereka dengan lingkungan sekitar secara lebih inklusif. Kata kunci— SIBI, Machine learning, Flutter, CNN, Metode Prototype