Claim Missing Document
Check
Articles

Found 1 Documents
Search

Analisis Sentimen Ulasan Aplikasi Ruangguru Menggunakan Indobert dan Explainable AI (SHAP) Uuntuk Evaluasi Kepuasan Pengguna Muhammad Aswar Firmansyah; Dolly Indra; Abdul Rachman Manga
LINIER: Literatur Informatika dan Komputer Vol 3, No 3 (2026)
Publisher : Universitas Muslim Indonesia

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33096/linier.v3i3.3878

Abstract

Ulasan pengguna pada Google Play Store merupakan salah satu sumber informasi yang dapat digunakan untuk mengevaluasi tingkat kepuasan pengguna terhadap aplikasi Ruangguru. Banyaknya ulasan dalam bentuk teks tidak terstruktur menyebabkan proses analisis secara manual menjadi kurang efektif, sehingga diperlukan metode analisis sentimen yang mampu mengklasifikasikan opini pengguna sekaligus menjelaskan faktor yang memengaruhi hasil klasifikasi. Penelitian ini bertujuan menganalisis sentimen ulasan aplikasi Ruangguru menggunakan IndoBERT dan menjelaskan hasil prediksi model menggunakan Explainable Artificial Intelligence (XAI) dengan metode SHAP (SHapley Additive exPlanations). Sebanyak 10.000 ulasan dikumpulkan dari Google Play Store menggunakan Google Play Scraper, kemudian melalui tahap preprocessing sehingga diperoleh 8.380 ulasan yang memenuhi kriteria. Dataset tersebut terdiri atas 6.610 ulasan positif (78,88%), 1.366 ulasan negatif (16,30%), dan 404 ulasan netral (4,82%). Ketidakseimbangan kelas ditangani menggunakan Weighted Cross-Entropy Loss pada proses fine-tuning IndoBERT. Dataset selanjutnya dibagi menjadi 6.704 data pelatihan, 838 data validasi, dan 838 data pengujian. Model menghasilkan akurasi sebesar 88,42%, dengan Macro Precision 64,72%, Macro Recall 66,23%, dan Macro F1-score 65,44%. Kinerja terbaik diperoleh pada kelas positif dengan F1-score 95,35%, diikuti kelas negatif sebesar 74,47% dan kelas netral sebesar 26,51%. Interpretasi menggunakan SHAP menunjukkan kontribusi kata atau token yang mendorong model dalam menentukan sentimen positif, netral, maupun negatif. Pada data pengujian, model memprediksi 650 ulasan (77,57%) sebagai positif, 145 ulasan (17,30%) sebagai negatif, dan 43 ulasan (5,13%) sebagai netral, yang menunjukkan bahwa ulasan pengguna secara umum didominasi oleh pengalaman positif terhadap aplikasi Ruangguru. Dengan demikian, kombinasi IndoBERT, Weighted Cross-Entropy Loss, dan SHAP dapat digunakan untuk mengklasifikasikan sentimen sekaligus memberikan interpretasi yang lebih transparan sebagai dasar evaluasi kepuasan pengguna aplikasi Ruangguru