ANALISIS TRADE-OFF ANTARA PERFORMA DAN STABILITAS PADA KLASIFIKASI SENTIMEN WISATA BERBAHASA INDONESIA DENGAN TEKNIK DATA BALANCING - Chamidah, Nurul; Indriana, Intan Hesti; Triwahyono, Bambang; Widiyanto, Didit; Solihin, Indra Permana; Wirawan, Rio (Department of Informatics Engineering, Faculty of Science and Technology, Universitas Islam Negeri Alauddin, Makassar, Indonesia, 2026)
Analisis sentimen pada dataset berukuran kecil sering menghadapi masalah ketidakseimbangan kelas yang dapat menurunkan performa klasifikasi. Berbagai teknik penanganan seperti Synthetic Minority Oversampling Technique (SMOTE) dan Random Under Sampling (RUS) telah digunakan untuk meningkatkan performa, tapi aspek stabilitas model masih relatif jarang diperhatikan. Penelitian ini bertujuan untuk menganalisis performa dan stabilitas model klasifikasi sentimen pada dataset ulasan wisata berbahasa Indonesia yang berukuran kecil dan tidak seimbang. Selain itu, penelitian ini mengintegrasikan metrik stabilitas, yaitu Stability Sensitivity Index (SSI) dan Relative Robustness Score (RRS), yang masih jarang dieksplorasi dalam klasifikasi sentimen berbahasa Indonesia. Model yang digunakan adalah Logistic Regression dengan representasi fitur TF-IDF. Eksperimen dilakukan menggunakan tiga skenario, yaitu tanpa balancing, SMOTE, dan RUS, serta dievaluasi menggunakan 5-fold cross-validation. Hasil menunjukkan bahwa SMOTE menghasilkan F1-score tertinggi sebesar 0.926, sedangkan metode RUS memiliki stabilitas terbaik dengan standar deviasi terendah dan nilai RRS tertinggi. Temuan ini menunjukkan adanya trade-off antara performa dan stabilitas, di mana model dengan performa terbaik tidak selalu paling stabil. Penelitian ini memberikan kerangka evaluasi yang lebih komprehensif untuk klasifikasi sentimen pada dataset kecil dan tidak seimbang.