Malcom: Indonesian Journal of Machine Learning and Computer Science
Vol. 5 No. 4 (2025): MALCOM October 2025

Model CNN untuk Pengenalan Ekspresi Wajah pada Pembelajaran Pemrograman dengan Kondisi Oklusi di Kelas : A CNN Model for Recognizing Facial Expressions in Programming Classes under Classroom Occlusions

Baharuddin, Baharuddin (Unknown)
Adam, Muh. Wahyu Suryandi (Unknown)
Riadi, Annahl (Unknown)



Article Info

Publish Date
31 Oct 2025

Abstract

Ekspresi wajah mahasiswa merupakan indikator non-verbal yang dapat dimanfaatkan oleh Learning Analytics (LA) untuk memantau keterlibatan dan kebingungan selama mata kuliah pemrograman (programming class). Dalam konteks riset ini, LA merujuk pada proses komputasional yang menganalisis data visual (ekspresi wajah) guna menyediakan informasi bagi pengajar dan sistem pendukung pembelajaran, baik secara waktu nyata maupun pascakelas. Kami meneliti pengenalan ekspresi wajah pada kondisi kelas nyata yang sarat oklusi (layar monitor, tas, tangan, masker, rekan mahasiswa), menggunakan CNN EfficientNet-B3 dengan transfer learning dan fine-tuning untuk mengklasifikasi empat kategori: Jenuh, Normal, Senang, dan Bingung. Evaluasi menggunakan akurasi, presisi-makro, recall-makro, F1-makro, serta confusion matrix. Pada test set, model meraih 33,33% akurasi, 0,33 presisi-makro, 0,33 recall-makro, dan 0,32 F1-makro, menegaskan tantangan pengenalan di bawah oklusi dan keterbatasan data. Akurasi validasi (26,67%) dan akurasi latih (45,31%) menunjukkan model belum cukup belajar dan terjadi kebingungan antarkelas khususnya antara Normal, Senang, dan Bingung. Meski metrik masih moderat, studi ini menyediakan baseline yang dapat direplikasi untuk FER tanggap oklusi pada konteks pendidikan pemrograman. Arah peningkatan mencakup penambahan & penyeimbangan data, augmentasi spesifik oklusi, face alignment, serta modul atensi/penanganan oklusi ringan menuju LA yang lebih tangguh di kelas nyata.

Copyrights © 2025






Journal Info

Abbrev

malcom

Publisher

Subject

Computer Science & IT

Description

MALCOM: Indonesian Journal of Machine Learning and Computer Science is a scientific journal published by the Institut Riset dan Publikasi Indonesia (IRPI) in collaboration with several Universities throughout Riau and Indonesia. MALCOM will be published 2 (two) times a year, April and October, each ...