Analisis Karakteristik Effectiveness dan Satisfaction pada Quality in use Berdasarkan Sentimen Ulasan Pengguna (Studi Kasus Aplikasi Game mobile: Magic Chess Go Go)

Zatmiko, Celvin Fahryan Dwi
Setiawan, Nanang Yudi
Saputra, Mochamad Chandra

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Vol 10 No 3 (2026): Maret 2026

Penelitian ini menganalisis kualitas penggunaan aplikasi Magic Chess: Go Go berdasarkan pada model Quality in use ISO/IEC 25010 dengan fokus pada Effectiveness dan Satisfaction, serta mengidentifikasi akar permasalahan pada ulasan bersentimen negatif. Data ulasan Google Play Store periode 28 Mei–19 Agustus 2025 diproses melalui cleaning dan preprocessing. Pelabelan aspek dilakukan menggunakan ekstraksi kata kunci KeyBERT dan pemetaan ke kamus aspek dengan fuzzy matching, sedangkan pelabelan sentimen menggunakan IndoBERT dan divalidasi melalui sampel oleh expert. Validasi aspek dilakukan menggunakan LLM. Klasifikasi sentimen dibangun dengan Support Vector Machine (SVM) berbasis TF-IDF dan dievaluasi menggunakan k-fold cross-validation serta confusion matrix dengan fokus pada kelas positif–negatif. Hasil menunjukkan keluhan negatif lebih banyak terkait Satisfaction (50,1%) dibanding Effectiveness (20,2%). Model SVM mencapai rata-rata k-fold 90,23% dan akurasi 89%. Root cause analysis mengindikasikan isu utama meliputi gangguan teknis, ketidakseimbangan mekanik permainan, serta isu kepercayaan terhadap sistem. Temuan dipetakan dalam fishbone diagram sebagai dasar penyusunan rekomendasi perbaikan bagi pengembang.