eProceedings of Engineering
Vol 2, No 1 (2015): April, 2015

Perancangan Dan Implementasi Aplikasi Penerjemah Bahasa Isyarat Menjadi Suara Berbasis Kinect Menggunakan Metode Hidden Markov Model

Agustinus Agustinus (Telkom University)
Asep Mulyana (Telkom University)
Andrew Brian Osmond (Telkom University)



Article Info

Publish Date
01 Apr 2015

Abstract

Suatu isyarat dapat dikenali melalui gerakan tubuh dan gerakan mulut seseorang. Dengan mengenali ciri-ciri khusus pada masing-masing isyarat, maka dapat diterjemahkan. Pada tugas akhir ini dilakukan pengenalan sejumlah kata dalam bahasa isyarat, agar orang-orang dengan kemampuan berbicara secara verbal lebih mudah menerjemahkan isyarat seorang tunarungu. Masukan secara realtime yang digunakan berupa data gambar (image) pose bahasa isyarat (berdasarkan Kamus Umum Bahasa Isyarat Indonesia) menggunakan perangkat sensor kinect. Data tersebut kemudian diolah sehingga mendapatkan data skeleton. Dari data skeleton kemudian didapatkan skeleton joint. Dalam hal ini menggunakan 6 skeleton joint untuk dijadikan data karakteristik dari setiap isyarat. Berikutnya 6 skeleton joint akan dimodelkan dengan Hidden Markov Model (HMM), dan dilakukan pelatihan sehingga dihasilkan sebuah basis data untuk seluruh HMM. Keluaran dari sistem ini berupa suara yang merupakan terjemahan dari isyarat pada masukan. Hasil pengujian pada tugas akhir ini mendapat akurasi rata – rata 90%, trendline akurasi untuk berbagai jumlah kata mengalami penurunan jika ditambah isyarat baru ke database, dan waktu komputasi sistem rata-rata 22.8μs. Kata Kunci: Bahasa Isyarat, Kinect, Hidden Markov Model

Copyrights © 2015






Journal Info

Abbrev

engineering

Publisher

Subject

Computer Science & IT Control & Systems Engineering Electrical & Electronics Engineering Engineering Industrial & Manufacturing Engineering

Description

Merupakan media publikasi karya ilmiah lulusan Universitas Telkom yang berisi tentang kajian teknik. Karya Tulis ilmiah yang diunggah akan melalui prosedur pemeriksaan (reviewer) dan approval pembimbing ...