Perbandingan Kinerja dan Efisiensi Model NLP pada Analisis Sentimen Ulasan Aplikasi Layanan Publik Digital - Irfan Setiawan; Widyastuti Andriyani (Universitas Budi Darma, 2026)
Transformasi digital layanan publik di Indonesia menghasilkan volume ulasan pengguna yang besar pada Google Play Store, khususnya untuk aplikasi layanan publik digital seperti Identitas Kependudukan Digital (IKD), BPJS Kesehatan Mobile, dan MyPertamina. Penelitian ini bertujuan untuk membandingkan kinerja dan efisiensi komputasi lima model dari tiga generasi pendekatan Natural Language Processing (NLP), yaitu Naive Bayes, Support Vector Machine (SVM), Bidirectional Long Short-Term Memory (BiLSTM), IndoBERT, dan IndoBERTweet dalam tugas analisis sentimen ulasan berbahasa Indonesia. Evaluasi dilakukan pada performa klasifikasi menggunakan accuracy, macro precision, macro recall, dan macro F1-Score serta efisiensi komputasi melalui waktu pelatihan, waktu inferensi, dan penggunaan memori. Dataset dikumpulkan melalui scraping ulasan Google Play Store dengan strategi pelabelan otomatis berbasis rating bintang (weak labels), yang keandalannya divalidasi dengan subset sampel menggunakan Cohen’s Kappa. Penggunaan label lemah ini merupakan keterbatasan yang perlu dipertimbangkan dalam interpretasi hasil, mengingat hanya sebagian kecil data yang divalidasi secara manual. Penelitian ini mengisi gap literatur pada domain aplikasi layanan publik digital Indonesia yang masih kurang dieksplorasi dalam konteks komparasi model NLP lintas generasi, sekaligus menghasilkan implikasi praktis pemilihan model berdasarkan kondisi infrastruktur komputasi yang tersedia, dengan mempertimbangkan keterbatasan generalisasi hasil pada domain dan skala dataset yang berbeda. Hasil eksperimen menunjukkan IndoBERTweet mencapai performa tertinggi dengan macro F1-Score 0,8957, sementara Naive Bayes dan SVM dapat dijalankan dalam waktu di bawah 0,15 detik tanpa GPU dengan macro F1-Score masing-masing 0,8345 dan 0,8402.