Deteksi Gerak Tangan sebagai Pengenal Bahasa Isyarat menggunakan Mediapipe dan Long-Short Term Memory - Utomo, Prabowo Budi; Ramadhani, Risky Aswi; Kurniawan, Hindra (Fakultas Teknik Universitas Muria Kudus, 2024)
Kehadiran orang disabilitas atau penyandang cacat seringkali dipandang sebelah mata oleh banyak orang dan mendapat perlakuan diskriminatif serta dianggap merepotkan, padahal jumlah penyandang cacat di Indonesia cukup banyak dan bervariasi. Sebagai salah satu kecacatan, tuli menjadi salah satu yg terbanyak diderita oleh orang Indonesia, dalam sebuah survey Nasional tahun 1994-1996 ada sekitar 18,5 % atau 40,5 juta jiwa yang mengalami gangguan pendengaran yang menggunakan bahasa isyarat berbasis gerak tangan sebagai media komunikasi. Dalam beberapa kondisi gerakan tangan ini cukup sulit untuk dipahami khususnya oleh yang bukan penguna bahasa isyarat, bahkan dalam beberap kasus formal hingga dibutuhkan juru bahasa isyarat untuk memahami maksud dari gerak tangan yang digunakan. Dalam penelitian ini menggunakan 36 jenis gerak tangan yang masing-masing gerak tangan direkam sebanyak 30 video sequence dengan setiap sequence akan merekam sebanyak 30 frame. Setiap frame yang diperoleh akan diekstraksi nilai keypoint dari wajah, pose dan gerak tangan yang direkam, untuk selanjutnya diproses dan dimodelkan menggunakan 3 metode Long ShortTerm Memory (LSTM) yaitu single layers LSTM, multi layers LSTM dan Bidirectional LSTM. Pemodelan LSTM yang telah dilakukan menghasilkan nilai akurasi sebesar 91% saat mendeteksi dan mengenali gerak tangan Bahasa isyarat BISINDO pada model yang diproses menggunakan metode single layer LSTM epoch 500, hidden layers 32, batch size 64.