Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Jurnal Informatika dan Teknik Elektro Terapan
Fikri, Mochammad Rabee Fathi Al
Unknown Affiliation
Computer Science & IT

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
PENGEMBANGAN SISTEM SPEECH EMOTION RECOGNITION BERBASIS DEEP LEARNING WAV2VEC2.0 UNTUK RESPONS EMOSIONAL KARAKTER KUCING INTERAKTIF DI GAME UNITY Farrel Reyhan Putra; Dzaky, Hafidz Muhammad; Putratama, Maheswara; Fikri, Mochammad Rabee Fathi Al; Tundjungsari, Vitri
Jurnal Informatika dan Teknik Elektro Terapan Vol. 14 No. 1 (2026)
Publisher : Universitas Lampung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.23960/jitet.v14i1.9064

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem Speech Emotion Recognition (SER) berbasis deep learning yang mampu mengenali emosi suara dan mengimplementasikannya pada sebuah game interaktif menggunakan Unity. Model SER dibangun dengan memanfaatkan arsitektur Wav2Vec 2.0 yang telah dipra-latih (pretrained) dan dilakukan fine-tuning menggunakan dataset CREMA-D dengan empat kelas emosi, yaitu angry, happy, neutral, dan sad. Data dibagi dengan rasio 80% untuk pelatihan dan 20% untuk validasi. Hasil pengujian menunjukkan bahwa model mampu mencapai nilai akurasi validasi maksimum sebesar 78–79% dengan weighted F1-score sebesar 0,79. Analisis confusion matrix memperlihatkan bahwa kelas angry memiliki tingkat pengenalan tertinggi, sementara kesalahan klasifikasi paling sering terjadi antara kelas neutral dan sad akibat kemiripan karakteristik prosodi. Model yang telah dilatih kemudian diekspor ke format ONNX dan berhasil diintegrasikan ke dalam game Unity untuk mendeteksi emosi suara pemain secara real-time. Hasil implementasi menunjukkan bahwa sistem mampu memberikan respons karakter yang adaptif berdasarkan emosi suara pengguna, sehingga meningkatkan interaksi dalam permainan.
Co-Authors Dzaky, Hafidz Muhammad Farrel Reyhan Putra Putratama, Maheswara Vitri Tundjungsari