Implementasi Sentimen Masyarakat berdasarkan Tweet terkait Kebijakan Kemendikbud di Masa Pandemi Covid-19 - Chavin Lorento; Arif Bijaksana Putra Negara; Rudy Dwi Nyoto (JUSTIN (Jurnal Sistem dan Teknologi Informasi), 2022)
Twitter selalu menyajikan informasi trending sehingga pengguna selalu update terkait segala sesuatu yang sedang hangat diperbincangkan (tweet), contohnya sentimen masyarakat terkait kebijakan kemendikbud di masa pandemi Covid-19. Identifikasi tweets tersebut dapat dilakukan dengan klasifikasi. Sentimen tweets diklasifikasikan ke dalam tiga kelas, yaitu negatif, netral, atau positif. Tujuan penelitian ini adalah menghasilkan model klasifikasi yang memiliki performa terbaik dalam implementasi permasalahan tersebut. Selain itu, penelitian juga melihat pengaruh tuning hyperparameter dan pendekatan multi class SVM. Metode klasifikasi yang digunakan adalah multi class SVM (Support Vector Machine) dengan pendekatan OVO (One Versus One) dan OVA (One Versus All), serta PSO (Particle Swarm Optimization) digunakan sebagai tuning hyperparameter. Pembagian dataset dilakukan menjadi data training sebanyak 5939 data dan data testing sebanyak 660 data dengan rasio 90%:10%. Evaluasi dilakukan menggunakan 10-fold CV terhadap data training dan confusion matrix terhadap data testing. Berdasarkan evaluasi terhadap empat model skenario yang dibangun berupa nilai akurasi training dan testing, model OVO tanpa PSO sebesar 76,86% dan 79,70%, model OVO dengan PSO sebesar 77,94% dan 83,03%, model OVA tanpa PSO sebesar 76,66% dan 79,70%, dan model OVA dengan PSO sebesar 78,62% dan 83,18%. Kemudian, PSO dapat meningkatkan nilai akurasi training dan testing, yaitu OVO sebesar 1,08% dan 3,33%, serta OVA sebesar 1,96% dan 3,48%. Setelah itu, OVA memiliki akurasi training dan testing lebih tinggi dibanding OVO hanya jika menggunakan PSO, yaitu 0,68% dan 0,15%. Sedangkan, OVO memiliki nilai akurasi training lebih tinggi dibanding OVA hanya jika tidak menggunakan PSO, yaitu 0,2% dan keduanya memiliki nilai akurasi testing yang sama. Setelah hasil evaluasi tersebut, model OVA dengan PSO memberikan performa terbaik dibanding model lainnya dan digunakan sebagai model prediksi machine learning aplikasi generik yang dibangun dalam penelitian ini.