Analisis Sentimen Pada Aplikasi AstraPay Menggunakan Karakteristik Quality in Use (Freedom from Risk & Efficiency) Berdasarkan Ulasan Pengguna - Al-Hafidz, Jundullah; Setiawan, Nanang Yudi; Pramono, Djoko (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2026)
Ulasan pengguna krusial untuk evaluasi aplikasi finansial seperti AstraPay, sehingga memerlukan analisis granular. Penelitian ini menerapkan Aspect-Based Sentiment Analysis (ABSA) untuk menganalisis sentimen pada karakteristik ISO/IEC 25010 Quality in Use: Efisiensi dan Keamanan. Penelitian ini mengukur dampak kinerja dari proses fine-tuning pada model IndoBERT dibandingkan dengan pendekatan baseline zero-shot. Validitas evaluasi dijamin oleh dataset ground truth yang dibangun melalui metode ensemble majority voting hibrid, yang mengintegrasikan sistem aturan, LLM, dan anotator manusia. Hasil penelitian menunjukkan bahwa pendekatan zero-shot memiliki kinerja yang tidak dapat diandalkan. Sebaliknya, setelah fine-tuning, model mengalami peningkatan kinerja transformatif, dengan metrik F1-Score (macro average) meningkat sebesar 121.88% untuk klasifikasi aspek (dari 0.32 menjadi 0.71) dan 136.84% untuk klasifikasi sentimen (dari 0.38 menjadi 0.90). Temuan ini membuktikan bahwa fine-tuning merupakan langkah esensial untuk mengadaptasi model bahasa guna membangun sistem ABSA yang akurat dan fungsional pada domain spesifik.