Klasifikasi Emosi Pada Raut Wajah Pelajar Menggunakan Ekstraktor Fitur Face Mesh Dan Metode Support Vector Machine - Revanza, Muhammad Nugraha Delta; Bachtiar, Fitra Abdurrachman; Setiawan, Budi Darma; Bachtiar, Fitra (Jurnal Teknologi Informasi dan Ilmu Komputer, 2025)
Dalam lingkup pembelajaran, rasa emosional dan perhatian memegang peranan penting dalam keterlibatan pelajar terhadap proses pembelajaran yang sedang berlangsung. Emosi pelajar menimbulkan reaksi afektif terhadap proses pembelajaran, seperti boredom, engagement, confusion, dan frustration. Reaksi afektif tersebut dapat digunakan sebagai tolok ukur dalam melakukan evaluasi kegiatan pembelajaran. Pengenalan emosi dapat dilakukan dengan pengamatan citra wajah, namun pemrosesan sebuah citra memerlukan sebuah model yang dapat melakukan klasifikasi emosi berdasarkan raut wajah secara tepat. Berdasarkan permasalahan tersebut, penelitian ini bertujuan untuk membangun sebuah sistem pengenalan emosi melalui raut wajah pelajar dengan ekstraktor fitur Mediapipe Face Mesh dan Support Vector Machine (SVM). Proses ekstraksi frame dan ekstraksi fitur dilakukan untuk mendapatkan total 1404 titik tiga dimensi facial landmark untuk kemudian diklasifikasikan dengan menggunakan SVM. Untuk meningkatkan kinerja klasifikasinya, dilakukan optimasi algoritma SVM melalui hyperparameter tuning dan Grid Search Cross Validation untuk menghasilkan kombinasi parameter model dengan kinerja terbaik. Hasil yang diperoleh adalah 53%, mengalami peningkatan 25% dibandingkan dengan model standar tanpa proses hyperparameter tuning yang menunjukkan bahwa hyperparamter tuning memiliki pengaruh terhadap kinerja model. Selain itu, terdapat titik-titik facial landmark yang berperan dalam klasifikasi emosi berdasarkan hasil analisis, yaitu titik yang berada di sekitar mata.   Abstract   In the context of learning, emotion and attention are significant factors influencing the learner's engagement with the ongoing learning process. The affective reactions of learners to the learning process, which may include boredom, engagement, confusion, or frustration, can be influenced by their emotional state. Such affective reactions may be employed as benchmarks for the evaluation of learning activities. The emotions can be rcognized by analyzing the image of human face. However, image processing needs a model that can accurately categorize emotions based on facial expressions. This research aims to address these issues through the construction of an emotion recognition system based on student facial expressions using the Mediapipe Face Mesh feature extractor and Support Vector Machine. First, a frame extraction and feature extraction process was conducted to obtain a total of 1,404 three-dimensional facial landmark points as input data. Subsequently, the SVM algorithm was optimized through hyperparameter tuning and Grid Search Cross Validation to produce a combination of model parameters with the best performance. The resulting value was 53%, representing a 25% increase compared to the standard model without hyperparameter tuning, which demonstrates that hyperparameter tuning has a significant impact on model performance. Additionally, the analysis revealed that certain facial landmark points, particularly those around the eyes, play a crucial role in emotion classification.