Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Jurnal Simetris

Deteksi Gerak Tangan sebagai Pengenal Bahasa Isyarat menggunakan Mediapipe dan Long-Short Term Memory Utomo, Prabowo Budi; Ramadhani, Risky Aswi; Kurniawan, Hindra
Simetris: Jurnal Teknik Mesin, Elektro dan Ilmu Komputer Vol 15, No 1 (2024): JURNAL SIMETRIS VOLUME 15 NO 1 TAHUN 2024
Publisher : Fakultas Teknik Universitas Muria Kudus

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.24176/simet.v15i1.10505

Abstract

Kehadiran orang disabilitas atau penyandang cacat seringkali dipandang sebelah mata oleh banyak orang dan mendapat perlakuan diskriminatif serta dianggap merepotkan, padahal jumlah penyandang cacat di Indonesia cukup banyak dan bervariasi. Sebagai salah satu kecacatan, tuli menjadi salah satu yg terbanyak diderita oleh orang Indonesia, dalam sebuah survey Nasional tahun 1994-1996 ada sekitar 18,5 % atau 40,5 juta jiwa yang mengalami gangguan pendengaran yang menggunakan bahasa isyarat berbasis gerak tangan sebagai media komunikasi. Dalam beberapa kondisi gerakan tangan ini cukup sulit untuk dipahami khususnya oleh yang bukan penguna bahasa isyarat, bahkan dalam beberap kasus formal hingga dibutuhkan juru bahasa isyarat untuk memahami maksud dari gerak tangan yang digunakan. Dalam penelitian ini menggunakan 36 jenis gerak tangan yang masing-masing gerak tangan direkam sebanyak 30 video sequence dengan setiap sequence akan merekam sebanyak 30 frame. Setiap frame yang diperoleh akan diekstraksi nilai keypoint dari wajah, pose dan gerak tangan yang direkam, untuk selanjutnya diproses dan dimodelkan menggunakan 3 metode Long ShortTerm Memory (LSTM) yaitu single layers LSTM, multi layers LSTM dan Bidirectional LSTM. Pemodelan LSTM yang telah dilakukan menghasilkan nilai akurasi sebesar 91% saat mendeteksi dan mengenali gerak tangan Bahasa isyarat BISINDO pada model yang diproses menggunakan metode single layer LSTM epoch 500, hidden layers 32, batch size 64.