PENERAPAN INDOBERT UNTUK ANALISIS SENTIMEN BERBASIS ASPEK PADA EVALUASI APLIKASI LAYANAN PUBLIK - Muhammad Rafli; Badieah Assegaf (Universitas Majalengka, 2026)
Ulasan pengguna pada aplikasi layanan publik digital seperti Mobile JKN, M-Paspor, dan SIGNAL menyimpan wawasan penting bagi peningkatan kualitas layanan. Namun, analisis sentimen konvensional belum mampu mengidentifikasi aspek spesifik yang menjadi sumber kepuasan maupun keluhan pengguna. Penelitian ini mengembangkan sistem Aspect-Based Sentiment Analysis (ABSA) berbasis IndoBERT dengan pendekatan token classification. Sistem dirancang untuk mengekstraksi tiga aspek utama, yaitu Usability, Reliability, dan Efficiency, sekaligus mengklasifikasikan kategori sentimen. Metode penelitian meliputi pengumpulan data scraping, pra-pemrosesan, dan fine-tuning model IndoBERT. Hasil pengujian menunjukkan kinerja yang sangat baik dengan akurasi pada aspek Usability 0.98, Reliability 0.97, Efficiency 0.99 untuk Mobile JKN. Untuk M-Paspor mendapatkan akurasi aspek Usability 0.99, Reliability 0.98, Efficiency 0.99. Dan untuk SIGNAL mendapatkan akurasi aspek Usability 0.99, Reliability 0.98, Efficiency 0.97. Analisis kurva loss mengungkap adanya indikasi overfitting ringan pada model Mobile JKN yang disebabkan oleh kompleksitas dan keberagaman domain layanan kesehatan, sementara model M-Paspor dan SIGNAL juga mengalami overfitting namun dengan tingkat yang lebih rendah berkat karakteristik domain yang lebih spesifik dan jumlah data pelatihan yang lebih besar. Analisis lebih lanjut mengungkap bahwa aspek Efficiency secara konsisten menjadi yang paling mudah diklasifikasi dengan F1-Score di atas 0.94, sementara aspek Reliability menjadi tantangan utama dengan pola kesulitan berbeda pada setiap dataset. Temuan ini menunjukkan bahwa sistem yang dibangun efektif dalam memberikan wawasan terperinci guna mendukung peningkatan berkelanjutan layanan publik digital.