eProceedings of Engineering
Vol. 11 No. 3 (2024): Juni 2024

Sign Language Translator Using Deep Learning

Amelia, Nurul (Unknown)
Setianingsih, Casi (Unknown)
Saputra, Randy Erfa (Unknown)



Article Info

Publish Date
01 Jun 2024

Abstract

Penelitian ini menjelaskan tentang salah satu permasalahan komunikasi yang terjadi di kehidupanmasyarakat. Permasalahan komunikasi tersebut terjadi antarateman tuli dan teman dengar. Teman dengar berkomunikasisecara verbal, sedangkan teman tuli berkomunikasi dengannon-verbal. Untuk teman tuli berkomunikasi denganmenggunakan bahasa isyarat sebagai medianya. Solusi palingumum untuk saat ini adalah dengan menggunakan orang lainsebagai penerjemah untuk berkomunikasi antara teman tulidan teman dengar. Tetapi, solusi tersebut tidak menjawabsolusi yang efektif dikarenakan seorang penerjemah tidaksetiap waktu akan tersedia, berbeda dengan programkomputer.Solusi yang diusulkan menerapkan teknik deep learningLSTM dan YOLOv5, sistem akan mengartikan bahasa isyaratSIBI. Selain itu, melalui pengembangan aplikasi Android danpengembangan Backend memastikan operasi aplikasi yangandal dan efisien. Produk berupa aplikasi dengan fitur deep learning LSTMuntuk fitur deteksi motion dengan akurasi 95.56%, YOLOv5untuk deteksi realtime memiliki mAP@0.5IoU 99.5%, danLSTM untuk Text-Correction 92,5%. Kemudian animasigerakan SIBI untuk fitur pembelajaran, dan implementasi keAndroid melalui backend. Pada tes reliabilitas aplikasiditemukan bahwa nilai r_11 adalah 0,914428422. Oleh karenaitu, dapat disimpulkan bahwa pengujian ini memiliki tingkatreliabilitas yang sangat tinggi. Respon waktu dalam hasil tesserver juga menunjukan dikisaran 1-5 detik dan memory usagerata-rata 130mb. Kata kunci— SIBI, inklusivitas, Machine Learning, LSTM,YOLOv5, Android, Backend, Animasi

Copyrights © 2024






Journal Info

Abbrev

engineering

Publisher

Subject

Computer Science & IT Control & Systems Engineering Electrical & Electronics Engineering Engineering Industrial & Manufacturing Engineering

Description

Merupakan media publikasi karya ilmiah lulusan Universitas Telkom yang berisi tentang kajian teknik. Karya Tulis ilmiah yang diunggah akan melalui prosedur pemeriksaan (reviewer) dan approval pembimbing ...