Analisis Sentimen Ulasan Pengguna Aplikasi Mobile Banking Bank Kalbar Menggunakan Algoritma Svm Random Forest dan Naive Bayes - Theofilus BA; Panny Agustia Rahayuningsih; Muhammad Rezki (Jurnal Komputer Teknologi Informasi Sistem Komputer (JUKTISI), 2026)
Perkembangan dalam layanan perbankan seluler telah meningkatkan jumlah ulasan pengguna di platform seperti Google Play Store, yang menyimpan data berharga terkait kepuasan dan keluhan dari nasabah. Penelitian ini memiliki tujuan untuk menganalisis sentimen dari ulasan pengguna aplikasi mobile banking Bank Kalbar dengan memanfaatkan tiga algoritma machine learning untuk klasifikasi, yaitu Support Vector Machine (SVM), Random Forest, dan Naive Bayes, yang diterapkan dengan representasi fitur berbasis TF-IDF. Data yang digunakan dalam penelitian ini mencakup 2.923 ulasan yang diperoleh melalui web scraping dan secara otomatis diberi label melalui model LLaMA 3.1 8B Instant menggunakan Groq API ke dalam tiga kategori sentimen: positif (49,3%), negatif (41,2%), dan netral (9,5%). Ketidakseimbangan dalam distribusi kelas ditangani dengan metode SMOTE, sedangkan optimisasi hyperparameter dilakukan dengan teknik GridSearchCV menggunakan Stratified 5-Fold Cross Validation. Hasil evaluasi menunjukkan bahwa SVM berperforma sebagai model paling unggul dengan akurasi 87,52%, F1-Weighted 86,80%, dan F1-Macro 79,59%, diikuti oleh Naive Bayes (85,98%) dan Random Forest (85,47%). Namun, analisis statistik McNemar mengindikasikan bahwa perbedaan kinerja di antara ketiga model tidak signifikan secara statistik (p > 0,05), yang menunjukkan bahwa ketiga algoritma ini memiliki kemampuan generalisasi yang setara pada dataset ini. Tantangan utama yang teridentifikasi adalah rendahnya tingkat recall pada kelas netral (41–46%) disebabkan oleh ketidakseimbangan data. Hasil dari penelitian ini memberikan wawasan yang jelas mengenai pola sentimen dari pengguna aplikasi mobile banking Bank Kalbar dan dapat menjadi referensi bagi manajemen untuk meningkatkan kualitas layanan digital, terutama dalam hal stabilitas aplikasi dan kemudahan akses.