Perbandingan Kinerja Klasifikasi Sentimen Ulasan Aplikasi Over the Top di Google Play Store - Tutus Pandam Pradipta; Sri Huning Anwariningsih; Dahlan Susilo (Universitas Negeri Medan, 2026)
Persaingan ketat layanan Over The Top (OTT) di Indonesia menuntut pemahaman terkait kepuasan pengguna sebagai kunci retensi pelanggan. Ulasan Google Play Store menjadi sumber data penting untuk klasifikasi sentimen. Meskipun metode SVM dan Naive Bayes populer untuk klasifikasi, tetapi perbandingan keduanya untuk klasifikasi sentimen layanan OTT masih terbatas. Penelitian ini membandingkan kinerja keduanya untuk klasifikasi ulasan Aplikasi OTT berbahasa Indonesia. Selain itu, dilakukan validasi eksternal terhadap rating Aplikasi untuk mengidentifikasi metode dan rasio data optimal, serta menganalisis korelasi antara kinerja sentimen positif dengan rating tersebut. Tahapan perbandingan dilakukan melalui metode KDD meliputi pengumpulan data, text preprocessing, transformasi data, hingga klasifikasi dengan pengujian pembagian data training dan testing (70:30, 80:20, dan 90:10) untuk mendapatkan model yang optimal. Klasifikasi diuji menggunakan berbagai matrik evaluasi yaitu Akurasi, Presisi, Recall, dan F1-Score. Model optimal kemudian divalidasi menggunakan koefisien korelasi Pearson antara F1-Score sentimen positif dan rating Aplikasi. Hasil kesimpulan dari perbandingan kedua metode menunjukkan bahwa SVM secara konsisten mengungguli Naive Bayes di seluruh skenario pengujian. Model SVM dengan rasio 90:10 adalah model optimal dengan akurasi rata-rata 75%. Model ini kuat pada sentimen negatif (F1-Score=0,91) namun menunjukkan kegagalan kritis pada sentimen netral (F1-Score=0,00). Analisis korelasi Pearson menghasilkan nilai r = 0,538, mengindikasikan adanya korelasi positif sedang antara sentimen positif dengan popularitas aplikasi. Implikasi penelitian ini adalah model optimal ini dapat digunakan sebagai alat Business Intelligence meskipun perlu pengembangan lanjutan untuk mengatasi imbalance data pada kelas netral.