Sign Language Translator Using Deep Learning - Amelia, Nurul; Setianingsih, Casi; Saputra, Randy Erfa (eProceedings of Engineering, 2024)
Penelitian ini menjelaskan tentang salah satu permasalahan komunikasi yang terjadi di kehidupanmasyarakat. Permasalahan komunikasi tersebut terjadi antarateman tuli dan teman dengar. Teman dengar berkomunikasisecara verbal, sedangkan teman tuli berkomunikasi dengannon-verbal. Untuk teman tuli berkomunikasi denganmenggunakan bahasa isyarat sebagai medianya. Solusi palingumum untuk saat ini adalah dengan menggunakan orang lainsebagai penerjemah untuk berkomunikasi antara teman tulidan teman dengar. Tetapi, solusi tersebut tidak menjawabsolusi yang efektif dikarenakan seorang penerjemah tidaksetiap waktu akan tersedia, berbeda dengan programkomputer.Solusi yang diusulkan menerapkan teknik deep learningLSTM dan YOLOv5, sistem akan mengartikan bahasa isyaratSIBI. Selain itu, melalui pengembangan aplikasi Android danpengembangan Backend memastikan operasi aplikasi yangandal dan efisien. Produk berupa aplikasi dengan fitur deep learning LSTMuntuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, danLSTM untuk Text-Correction 92,5%. Kemudian animasigerakan SIBI untuk fitur pembelajaran, dan implementasi keAndroid melalui backend. Pada tes reliabilitas aplikasiditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karenaitu, dapat disimpulkan bahwa pengujian ini memiliki tingkatreliabilitas yang sangat tinggi. Respon waktu dalam hasil tesserver juga menunjukan dikisaran 1-5 detik dan memory usagerata-rata 130mb. Kata kunci— SIBI, inklusivitas, Machine Learning, LSTM,YOLOv5, Android, Backend, Animasi