Facial Expression Recognition Dengan Pemodelan Berbasis CNN Pada Wajah Bermasker

Indidharmanto, Ahmad Maulana
Ihsan, Aditya Firman
Sulistyo, Mahmud Dwi

eProceedings of Engineering
Vol. 12 No. 3 (2025): Juni 2025

Pandemi Covid-19 yang telah menyebabkanpenggunaan masker wajah menjadi hal yang umum dimasyarakat sebagai upaya untuk mencegah penyebaran virus.Namun, hal ini menimbulkan tantangan baru dalampengenalan ekspresi wajah atau Facial Expression Recognition(FER). Facial Expression Recognition digunakan untukmemahami bagaimana manusia berperilaku, sehinggamembantu dalam strategi pencegahan penyebaran virus danmenghilangkan halangan manusia untuk saling bersosialisasiwalau dalam keterbatasan. Dalam hal keamanan, dapatdimanfaatkan untuk membedakan orang yang memiliki intensiburuk dibalik ekspresi yang tertutup masker. Kekurangan yangada pada Facial Expression Recognition saat ini yaituterbatasnya pendeteksian berbagai macam jenis ekspresidikarenakan hilangnya informasi penting dari area mulut danhidung yang tertutup masker. Penelitian ini bertujuan untukmenemukan model arsitektur Convolutional Neural Network(CNN) dengan akurasi dalam beberapa ekspresi sepertibahagia, marah, sedih, netral, dan terkejut. Penelitian inimengevaluasi performa tiga model, yaitu ResNet50, EmotionEnsemble Model, dan VGG19. ResNet50 menunjukkanperforma dengan akurasi 89.51%, Emotion Ensemble Modeldengan akurasi 82.49%. Sementara itu VGG19 mencapaiakurasi 72.44%. Kontribusi utama penelitian ini adalahpengembangan ensemble yang cukup akurat pada datasetdengan variasi tinggi, serta analisis terhadap keunggulan dankelemahan setiap model. Membantu mengenal pemilihanarsitektur model yang tepat untuk pengenalan ekspresi berbasiscitra pada kondisi terbatas. Kata kunci— facial expression recognition, convolutionalneural network, ResNet50, masker wajah, deep learning,Masked-Fer2013