Journal of Information Technology and Education (JITED)
Vol. 4 No. 2 (2026): September 2026

COMPARATIVE ANALYSIS OF AUTOMATED DUBBING AND LOCALIZATION UTILIZING GENERATIVE AI FOR MULTILINGUAL VOICE AND LIP MOVEMENT SYNCHRONIZATION ON AUDIO-VISUAL PODCAST

Rifky Ari Yunanto (Universitas Negeri Yogyakarta)
Pramudi Utomo (Unknown)



Article Info

Publish Date
02 Nov 2026

Abstract

Penelitian ini bertujuan untuk melakukan analisis komparatif terhadap model dubbing otomatis (Wav2Lip, DiffDub, dan Diff2Lip) dari segi akurasi sinkronisasi bibir dan kualitas visual dengan memanfaatkan teknologi AI generatif. Pendekatan analisis komparatif eksperimental digunakan untuk mengumpulkan data dengan membagi podcast audio-visual ke dalam dua sudut kamera dan mengulang setiap sudut sebanyak sepuluh kali untuk memperoleh hasil rata-rata. Ketiga model dubbing otomatis dievaluasi berdasarkan metrik kualitas visual (PSNR, SSIM, dan LPIPS) dan metrik akurasi sinkronisasi bibir (LSE-D dan LSE-C), kemudian diuji dengan ANOVA satu arah (uji F) untuk menilai perbedaan kinerja antarmodel. Hasil penelitian menunjukkan bahwa: (1) DiffDub merupakan model paling efektif dalam mengatasi tantangan kualitas visual pada dubbing berbasis AI dengan skor PSNR dan SSIM yang tinggi; (2) Diff2Lip menunjukkan akurasi sinkronisasi bibir yang sangat baik dan secara signifikan mengungguli model lain pada LSE-D dan LSE-C; (3) ANOVA menunjukkan perbedaan kinerja yang signifikan antara Wav2Lip, DiffDub, dan Diff2Lip pada semua metrik dengan seluruh nilai p < 0,0001; dan (4) ukuran efek yang dihitung mendukung temuan tersebut, yang menunjukkan bahwa perbedaan yang teramati signifikan secara statistik maupun praktis. Temuan ini menunjukkan potensi teknologi dubbing berbasis AI sebagai alternatif bagi metode dubbing tradisional.

Copyrights © 2026






Journal Info

Abbrev

jited

Publisher

Subject

Computer Science & IT Education Engineering

Description

The aim of this journal publication is to disseminate the conceptual thoughts or ideas and research results that have been achieved in the area of information technology. Subject areas suitable for publication in the Journal of Information Technology and Education (JITED) covering various fields ...