Journal of Modern Social and Humanities
Vol. 2 No. 2: Journal of Modern Social and Humanities, March 2026

Kode Ganda Tunarungu di Live Caption: Interaksi Bahasa Isyarat–Teks Otomatis dan Perbaikan Kesalahan

Rahman Ari Putra (Program Studi Teknik Informatika, Universitas Gadjah Mada, Indonesia)
Nabila Putri Handayani (Program Studi Pendidikan Luar Biasa, Universitas Muhammadiyah Jakarta, Indonesia)
Dimas Arya Saputra (Program Studi Sistem Informasi, Institut Teknologi Nasional Bandung, Indonesia)
Intan Maharani Kusuma (Program Studi Teknologi Rekayasa Perangkat Lunak, Sekolah Tinggi Teknologi Bandung, Indonesia)



Article Info

Publish Date
30 Mar 2026

Abstract

Perkembangan teknologi automatic speech recognition (ASR) telah memungkinkan penggunaan live caption sebagai sarana komunikasi bagi komunitas tunarungu dan hard-of-hearing. Meskipun teknologi ini meningkatkan akses terhadap informasi lisan, caption otomatis masih sering mengandung kesalahan transkripsi yang dapat memengaruhi pemahaman pengguna. Penelitian ini bertujuan untuk menganalisis fenomena kode ganda dalam penggunaan live caption oleh pengguna tunarungu, khususnya dalam interaksi antara bahasa isyarat dan teks otomatis serta strategi pengguna dalam menghadapi kesalahan caption. Penelitian ini menggunakan pendekatan kualitatif dengan desain studi interaksi multimodal. Data dikumpulkan melalui observasi interaksi komunikasi yang menggunakan live caption, perekaman video, serta wawancara mendalam dengan partisipan tunarungu. Analisis data dilakukan melalui identifikasi kesalahan caption, analisis interaksi multimodal, dan analisis tematik terhadap strategi pengguna dalam menafsirkan caption. Hasil penelitian menunjukkan bahwa pengguna tunarungu tidak hanya mengandalkan teks caption sebagai sumber informasi utama, tetapi juga memanfaatkan bahasa isyarat dan konteks visual sebagai bagian dari proses pemahaman komunikasi. Interaksi antara bahasa isyarat dan teks caption membentuk praktik kode ganda yang memungkinkan pengguna menafsirkan atau memperbaiki kesalahan caption selama percakapan berlangsung. Temuan ini menunjukkan bahwa pemahaman komunikasi dalam penggunaan live caption bersifat multimodal dan tidak hanya ditentukan oleh akurasi sistem caption. Penelitian ini memberikan kontribusi konseptual terhadap pengembangan teknologi caption yang lebih adaptif terhadap praktik komunikasi komunitas tunarungu.

Copyrights © 2026






Journal Info

Abbrev

jmsh

Publisher

Subject

Religion Arts Humanities Economics, Econometrics & Finance Education Languange, Linguistic, Communication & Media Law, Crime, Criminology & Criminal Justice Social Sciences Other

Description

Journal of Modern Social and Humanities (JMSH) is a scientific journal peer-reviewed, electronic, online journal that provides publication of articles that focus in the fields of Social Science and Humanities studies. JMSH is published by Gema Cendekia Institute, which will cater to needs of all ...