Claim Missing Document
Check
Articles

Klasifikasi Emosi Pada Raut Wajah Pelajar Menggunakan Ekstraktor Fitur Face Mesh Dan Metode Support Vector Machine Bachtiar, Fitra Abdurrachman; Revanza, Muhammad Nugraha Delta; Bachtiar, Fitra; Setiawan, Budi Darma
Jurnal Teknologi Informasi dan Ilmu Komputer Vol 12 No 4: Agustus 2025
Publisher : Fakultas Ilmu Komputer, Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.25126/jtiik.124

Abstract

Dalam lingkup pembelajaran, rasa emosional dan perhatian memegang peranan penting dalam keterlibatan pelajar terhadap proses pembelajaran yang sedang berlangsung. Emosi pelajar menimbulkan reaksi afektif terhadap proses pembelajaran, seperti boredom, engagement, confusion, dan frustration. Reaksi afektif tersebut dapat digunakan sebagai tolok ukur dalam melakukan evaluasi kegiatan pembelajaran. Pengenalan emosi dapat dilakukan dengan pengamatan citra wajah, namun pemrosesan sebuah citra memerlukan sebuah model yang dapat melakukan klasifikasi emosi berdasarkan raut wajah secara tepat. Berdasarkan permasalahan tersebut, penelitian ini bertujuan untuk membangun sebuah sistem pengenalan emosi melalui raut wajah pelajar dengan ekstraktor fitur Mediapipe Face Mesh dan Support Vector Machine (SVM). Proses ekstraksi frame dan ekstraksi fitur dilakukan untuk mendapatkan total 1404 titik tiga dimensi facial landmark untuk kemudian diklasifikasikan dengan menggunakan SVM. Untuk meningkatkan kinerja klasifikasinya, dilakukan optimasi algoritma SVM melalui hyperparameter tuning dan Grid Search Cross Validation untuk menghasilkan kombinasi parameter model dengan kinerja terbaik. Hasil yang diperoleh adalah 53%, mengalami peningkatan 25% dibandingkan dengan model standar tanpa proses hyperparameter tuning yang menunjukkan bahwa hyperparamter tuning memiliki pengaruh terhadap kinerja model. Selain itu, terdapat titik-titik facial landmark yang berperan dalam klasifikasi emosi berdasarkan hasil analisis, yaitu titik yang berada di sekitar mata.   Abstract   In the context of learning, emotion and attention are significant factors influencing the learner's engagement with the ongoing learning process. The affective reactions of learners to the learning process, which may include boredom, engagement, confusion, or frustration, can be influenced by their emotional state. Such affective reactions may be employed as benchmarks for the evaluation of learning activities. The emotions can be rcognized by analyzing the image of human face. However, image processing needs a model that can accurately categorize emotions based on facial expressions. This research aims to address these issues through the construction of an emotion recognition system based on student facial expressions using the Mediapipe Face Mesh feature extractor and Support Vector Machine. First, a frame extraction and feature extraction process was conducted to obtain a total of 1,404 three-dimensional facial landmark points as input data. Subsequently, the SVM algorithm was optimized through hyperparameter tuning and Grid Search Cross Validation to produce a combination of model parameters with the best performance. The resulting value was 53%, representing a 25% increase compared to the standard model without hyperparameter tuning, which demonstrates that hyperparameter tuning has a significant impact on model performance. Additionally, the analysis revealed that certain facial landmark points, particularly those around the eyes, play a crucial role in emotion classification.
Klasifikasi Emosi Pada Raut Wajah Pelajar Menggunakan Ekstraktor Fitur Face Mesh Dan Metode Support Vector Machine Bachtiar, Fitra Abdurrachman; Revanza, Muhammad Nugraha Delta; Bachtiar, Fitra; Setiawan, Budi Darma
Jurnal Teknologi Informasi dan Ilmu Komputer Vol 12 No 4: Agustus 2025
Publisher : Fakultas Ilmu Komputer, Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.25126/jtiik.124

Abstract

Dalam lingkup pembelajaran, rasa emosional dan perhatian memegang peranan penting dalam keterlibatan pelajar terhadap proses pembelajaran yang sedang berlangsung. Emosi pelajar menimbulkan reaksi afektif terhadap proses pembelajaran, seperti boredom, engagement, confusion, dan frustration. Reaksi afektif tersebut dapat digunakan sebagai tolok ukur dalam melakukan evaluasi kegiatan pembelajaran. Pengenalan emosi dapat dilakukan dengan pengamatan citra wajah, namun pemrosesan sebuah citra memerlukan sebuah model yang dapat melakukan klasifikasi emosi berdasarkan raut wajah secara tepat. Berdasarkan permasalahan tersebut, penelitian ini bertujuan untuk membangun sebuah sistem pengenalan emosi melalui raut wajah pelajar dengan ekstraktor fitur Mediapipe Face Mesh dan Support Vector Machine (SVM). Proses ekstraksi frame dan ekstraksi fitur dilakukan untuk mendapatkan total 1404 titik tiga dimensi facial landmark untuk kemudian diklasifikasikan dengan menggunakan SVM. Untuk meningkatkan kinerja klasifikasinya, dilakukan optimasi algoritma SVM melalui hyperparameter tuning dan Grid Search Cross Validation untuk menghasilkan kombinasi parameter model dengan kinerja terbaik. Hasil yang diperoleh adalah 53%, mengalami peningkatan 25% dibandingkan dengan model standar tanpa proses hyperparameter tuning yang menunjukkan bahwa hyperparamter tuning memiliki pengaruh terhadap kinerja model. Selain itu, terdapat titik-titik facial landmark yang berperan dalam klasifikasi emosi berdasarkan hasil analisis, yaitu titik yang berada di sekitar mata.   Abstract   In the context of learning, emotion and attention are significant factors influencing the learner's engagement with the ongoing learning process. The affective reactions of learners to the learning process, which may include boredom, engagement, confusion, or frustration, can be influenced by their emotional state. Such affective reactions may be employed as benchmarks for the evaluation of learning activities. The emotions can be rcognized by analyzing the image of human face. However, image processing needs a model that can accurately categorize emotions based on facial expressions. This research aims to address these issues through the construction of an emotion recognition system based on student facial expressions using the Mediapipe Face Mesh feature extractor and Support Vector Machine. First, a frame extraction and feature extraction process was conducted to obtain a total of 1,404 three-dimensional facial landmark points as input data. Subsequently, the SVM algorithm was optimized through hyperparameter tuning and Grid Search Cross Validation to produce a combination of model parameters with the best performance. The resulting value was 53%, representing a 25% increase compared to the standard model without hyperparameter tuning, which demonstrates that hyperparameter tuning has a significant impact on model performance. Additionally, the analysis revealed that certain facial landmark points, particularly those around the eyes, play a crucial role in emotion classification.
Co-Authors AA Sudharmawan, AA Abidatul Izzah Abu Wildan Mucholladin Achmad Arwan Achmad Basuki Achmad Fahlevi Achmad Firmansyah Sulaeman Achmad Hanim Nur Wahid Achmad Ridok Adam Hendra Brata Adam Syarif Hidayatullah Adam Syarif Hidayatullah Adinugroho, Sigit Aditya Rachmadi Aditya Rachmadi, Aditya Admaja Dwi Herlambang, Admaja Dwi Admi Rut Sinana Afida, Latansa Nurry Izza Afifurrijal Afifurrijal Agus Wahyu Widodo Ahmad Afif Supianto Ahmad Afif Supianto Ahmad Afif Supianto Ahmad Afif Supianto Ahmad Fairuzabadi Ahmad Foresta Azhar Zen Aisyah Awalina Aisyah Awalina Aisyatul Maulidah Aisyatul Maulidah Akhmad Lazuardi Alaikal Fajri Nur Alfian Aldi Fianda Putra Alfi Nur Rusydi Alfin Taufiqurrahman Alfirsa Damasyifa Fauzulhaq Alhasyimi, Dana Mustofa Alifi Lazuardi Gunawan Amalia Kusuma Akaresti Andi Alifsyah Dyasham Anggit Chalilur Rahman Anita Rizky Agustina Anita Rizky Agustina Anjasari, Ni Luh Made Beathris Anjumi Kholifatu Rahmatika Annuranda, Ramansyah Eka Apriyanti -, Apriyanti Ardi Wicaksono ari kusyanti Arieftia Wicaksono Aulia Akhrian Syahidi Aulia Dewi Savitri Aulia Nurrahma Rosanti Paidja Aulia Septi Pertiwi Azhar Izzannada Elbachtiar Azzam Syawqi Aziz Baharudin Yusuf Widiyanto Barlian Henryranu Prasetio Bayu Aji Firmansyah Bayu Sutawijaya Benni A. Nugroho Bere, Stevania Biabdillah, Fajerin Bianca Pingkan Nevista Bintang Fajrianti Brahma Hanif Farhansyah Budi Darma Setiawan Budi Setiawan Cahya, Reiza Adi Cinthia Vairra Hudiyanti Dariswan Janweri Perangin-Angin Dary Ardiansyah Haryono Dea Zakia Nathania Dedi Romario Delpiero, Rangga Raditya Desy Setya Rositasari Dika Imantika Dimas Angga Nazaruddin Dinda Adimanggala Dito William Hamonangan Gultom Diva Fardiana Risa Diva Fardiana Risa Djoko Pramono Dona Adittia Dyah Ayu Wulandari Dyah Ayu Wulandari Dzar Romaita Eka Devi Prasetiya Eka Yuni Darmayanti Eko Laksono Eko Setiawan Elok Nuraida Kusuma Dewi Fabiansyah Cahyo Kuncoro Pradipta Faizatul Amalia Fajar Pradana Fajar Pradana Fajerin Biabdillah Faranisa, Puspa Ayu Fardan Ainul Yaqiin Farhan Setya Dhitama Farid Syauqi Nirwan Fasya Ghassani Hadiyan Fatwa Ramdani, Fatwa Ferdian Maulana Akbar Ferry Ardianto Rismawan Ficry Agam Fathurrachman Fikar Mukamal Gandhi Ramadhona Giga Setiawan Gregorius Dhanasatya Pudyakinarya Gultom, Dito William Hamonangan Gunawan, Alifi Habib Bahari Khoirullah Haikal, Raihan Hanif Prasetyo Maulidina Hanifah Khoirunnisak Hanifah Muslimah Az-Zahra Hanifah Muslimah Az-Zahra, Hanifah Muslimah Haryowinoto Rizqul Aktsar Hasyir Daffa Ibrahim Hayashi, Yusuke Herman Tolle Heryana, Ana Hirashima, Tsukasa Holiyanda Husada Hutamaputra, William Ihza Razan Alghifari Ikhsan Putra Arisandi Ikrom Septian Hadi Ilham Pambudi Imam Cholissodin Imam Cholissodin Imam Cholissodin Indra K. Syahputra Indra Kurniawan Syahputra Indriati Indriati Indriati Indriati Intan Yusuf Habibie Iqbal Taufiq Ahmad Nur Irfani, Ilham Irma Nurvianti Irwan Suprianto Issa Arwani Ivqonnada Al Mufarrih Joseph Ananda Sugihdharma Joseph Ananda Sugihdharma Julia Ferlin Kartiko, Erik Yohan Katrina Puspita Kevin Gusti Farras Fari' Utomo Kharis Alfian Kharis Alfian Kresna Hafizh Muhaimin Krisnabayu, Rifky Yunus Krisnandi, Dikdik Kuncahyo Setyo Nugroho Kurnia Fakhrul Izza Kusumo, R. Budiarianto Suryo Lailil Muflikhah Ludgerus Darell Perwara Luthfi Afrizal Ardhani M Reza Syahputra A M. Ali Fauzi M. Khusnul Azhari M. Raabith Rifqi M. Sofyan Irwanto Mar'i, Farhanna Marvel Timothy Raphael Manullang Mawarni, Marrisaeka Michael Stephen Lui Moch Irfan Prayudha Adhianto Mochamad Chandra Saputra Mochamad Havid Albar Purnomo Mochammad Dearifaldi Al Ikhsan Mochammad Dearifaldi Al Ikhsan Moh Iqbal Yusron Mufidatun Nuha Muh. Edo Aprillia Andilala Muhammad Ferdyandi Muhammad Ifa Amrillah Muhammad Tanzil Furqon Muhammad Taufik Dharmawan Muhammad Wafi Muhammad Wafi Muhammad Zulfikarrahman Nabila Leksana Putri Nabila Lubna Irbakanisa Nadifa, Rahajeng Mufti Nainggolan, Cesilia Natasya Nanang Yudi Setiawan Nanang Yudi Setiawan Nanang Yudi Setyawan Nanda Ajeng Kartini Nanda Samsu Dhuha Nasita Ratih Damayanti Naufal Fathirachman Mahing Nourman Hajar Novanto Yudistira Novi Sunu Sri Giriwati Novianti, Siska Nur Wahyu Melliano Hariyanto Nurafifah Alya Farahisya Nurul Hidayat Oddy Aulia Rahman Nugroho Okta Dwi Ariska Ovy Rochmawanti Pamungkas, Gilang Alif Pradana , Fajar Priyambadha, Bayu Pryono, Muhammad Adam Puras Handharmahua Putra Pandu Adikara Rafif Taqiuddin Rafif Taqiuddin Rafly, Andi Raga Saputra Heri Istanto Rahman, Rafli Rahmat Adi Setiawan Ramadhan, Muhammad Fitrah Randy Cahya Wihandika Randy Cahya Wihandika Ratih Kartika Dewi Refi Fadholi Rekyan Regasari Mardi Putri, Rekyan Regasari Mardi Renavitasari, Ivenulut Rizki Diaz Retno Indah Rokhmawati Retno Indah Rokhmawati, Retno Indah Revanza, Muhammad Nugraha Delta Reza Syahputra Rezka Aditya Nugraha Hasan Rezky Dermawan Rhobith, Muhammad Rian Nugroho Ridwan Adi Setiabudi Riski Darmawan Riza Setiawan Soetedjo Rizal Setya Perdana Rizkey Wijayanto Rizkia Desi Yudiari Rizky Adinda Azizah Rizky Muhammad Faris Prakoso Robi Dwi Setiawan Rona Salsabila Said Atharillah Alifka Alhabsyi Samuel Arthur Satrio A. Wicaksono Satrio Agung Wicaksono Satrio Agung Wicaksono Satrio Hadi Wijoyo Satrio Hadi Wijoyo Satyawan Agung Nugroho Satyawan Agung Nugroho Shinta Aprilisia Sifaunnufus Ms, Fi Imanur Sintiya, Karena Siswahyudi, Puad Siti Mutdilah Sofyanda, Erika Yussi Sri Wulan Utami Vitandy Sueddi Sihotang Sugihdharma, Joseph Ananda Sulandri Sulandri Sza Sza Amulya Larasati Taufik Hidayat Timothy Julian Titus Christian Ubaydillah, Achmad Afif Utaminingrum, Fitri Vasha Farisi Sarwan Halim Very Sugiarto, Very Vivy Junita Wahyu Ardiansyah, Mohammad Wahyu Satriyo Wibowo Wahyudi, Hafif Bustani Wayan F. Mahmudy Wayan Firdaus Mahmudy Welly Purnomo Whita Parasati Wicky Prabowo Juliastoro Windy Adira Istiqhfarani Wiratama Ahsani Taqwim Wirdhayanti Paulina Yoga Tika Pratama Yudi Muliawan Yuita Arum Sari Zainal Arifien Zayn, Afta Ramadhan