Analisis Karakteristik Spectrogram dan Mel-Spectrogram dalam Merepresentasikan Fitur Akustik untuk Klasifikasi Emosi Berbasis Suara - Fadhilah, Muhammad Aldy Naufal; Adinugroho, Sigit; Sari, Irawati Nurmala (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2026)
Penelitian ini membahas pengaruh representasi fitur audio terhadap performa sistem Speech Emotion Recognition (SER) dengan menggunakan arsitektur ConvNeXt. Dua jenis representasi fitur yang dibandingkan adalah spectrogram linear dan Mel-spectrogram, yang dievaluasi pada berbagai skenario pengujian. Dataset utama yang digunakan adalah RAVDESS sebagai data pelatihan, sedangkan pengujian dilakukan pada data bersih, data dengan gangguan noise, dan data audio berbahasa Indonesia. Pengujian noise dirancang dalam dua skenario, yaitu noise sebagai latar sepanjang durasi audio dan noise yang ditambahkan hanya pada saat ucapan berlangsung. Hasil eksperimen menunjukkan bahwa Mel-spectrogram memberikan performa yang lebih stabil pada kondisi data bersih, sedangkan spectrogram linear menunjukkan kinerja yang relatif lebih baik pada skenario noise yang berinteraksi langsung dengan ucapan. Namun, pada kondisi noise latar kontinu, performa kedua representasi mengalami penurunan yang signifikan. Selain itu, pengujian pada data audio berbahasa Indonesia menunjukkan penurunan performa yang tajam akibat perbedaan bahasa dan kondisi perekaman dibandingkan data pelatihan. Penelitian ini juga mengidentifikasi bahwa perbedaan struktur visual spectrogram, termasuk keberadaan artefak black gap dan dominasi noise, berpengaruh terhadap kemampuan generalisasi model. Temuan ini menegaskan pentingnya kesesuaian kondisi data pelatihan dan pengujian dalam pengembangan sistem SER yang robust.