Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Journal of Information Technology and Education (JITED)
Rifky Ari Yunanto
Universitas Negeri Yogyakarta
Computer Science & IT Education Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
COMPARATIVE ANALYSIS OF AUTOMATED DUBBING AND LOCALIZATION UTILIZING GENERATIVE AI FOR MULTILINGUAL VOICE AND LIP MOVEMENT SYNCHRONIZATION ON AUDIO-VISUAL PODCAST Rifky Ari Yunanto; Pramudi Utomo
Journal of Information Technology and Education (JITED) Vol. 4 No. 2 (2026): September 2026
Publisher : Department of Electronics and Informatics Engineering Education

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.21831/jited.v4i2.4046

Abstract

Penelitian ini bertujuan untuk melakukan analisis komparatif terhadap model dubbing otomatis (Wav2Lip, DiffDub, dan Diff2Lip) dari segi akurasi sinkronisasi bibir dan kualitas visual dengan memanfaatkan teknologi AI generatif. Pendekatan analisis komparatif eksperimental digunakan untuk mengumpulkan data dengan membagi podcast audio-visual ke dalam dua sudut kamera dan mengulang setiap sudut sebanyak sepuluh kali untuk memperoleh hasil rata-rata. Ketiga model dubbing otomatis dievaluasi berdasarkan metrik kualitas visual (PSNR, SSIM, dan LPIPS) dan metrik akurasi sinkronisasi bibir (LSE-D dan LSE-C), kemudian diuji dengan ANOVA satu arah (uji F) untuk menilai perbedaan kinerja antarmodel. Hasil penelitian menunjukkan bahwa: (1) DiffDub merupakan model paling efektif dalam mengatasi tantangan kualitas visual pada dubbing berbasis AI dengan skor PSNR dan SSIM yang tinggi; (2) Diff2Lip menunjukkan akurasi sinkronisasi bibir yang sangat baik dan secara signifikan mengungguli model lain pada LSE-D dan LSE-C; (3) ANOVA menunjukkan perbedaan kinerja yang signifikan antara Wav2Lip, DiffDub, dan Diff2Lip pada semua metrik dengan seluruh nilai p < 0,0001; dan (4) ukuran efek yang dihitung mendukung temuan tersebut, yang menunjukkan bahwa perbedaan yang teramati signifikan secara statistik maupun praktis. Temuan ini menunjukkan potensi teknologi dubbing berbasis AI sebagai alternatif bagi metode dubbing tradisional.
Co-Authors Pramudi Utomo