Pengenalan Ucapan Kontinu Kosakata Besar Bahasa Indonesia Multimodal Berbasis Silabel Menggunakan Hidden Markov Toolkit dan Pergerakan Bibir

Hilman Fauzi Rijal (Telkom University)
Suyanto Suyanto (Telkom University)

eProceedings of Engineering
Vol 5, No 3 (2018): Desember 2018

Abstrak Pada pengenalan ucapan yang lumrah diaplikasikan adalah pengenalan ucapan terhadap sinyal suara. Namun, pada jenis data berupa video, data yang tersedia untuk diolah tidak hanya berupa sinyal suara saja. Maka, dibangunlah sistem Pengenalan Ucapan Kontinu Kosakata Besar berbasis silabel dengan menggabungkan fitur audio dan visual. Pembangunan sistem dilakukan dengan Hidden Markov Toolkit(HTK) dengan pengambilan fitur visual dengan menggunakan Discrete Cosine Transform(DCT) dan Principal Component Analysis(PCA). Hasil yang diperoleh dari sistem yang dibangun dapat memperkecil word error rate sebesar 6,07%. Kata Kunci : Fitur Visual, HTK, DCT, PCA, Pengenalan Ucapan Kontinu, Silabel Abstract The common thing applied on speech recognition is speech recognition on the speech signal. However, on the type of data in the form of video, the data which is available is not only a speech signal. Therefore, Syllable Based Large Vocabulary Continous Speech system with fusion of audio and visual feature is developed. The system is developed with the use of Hidden Markov Toolkit(HTK) along with visual feature extraction using Discrete Cosine Transform(DCT) and Principal Component Analysis(PCA). The result obtained from the system is able to reducing word error rate 6,07%. Keywords : Visual Feature, HTK, DCT, PCA, Continous Speech Recognition, Syllable