Jurnal Sistem Komputer dan Informatika (JSON)
Vol. 7 No. 4 (2026): Juni 2026

Perbandingan Kinerja dan Efisiensi Model NLP pada Analisis Sentimen Ulasan Aplikasi Layanan Publik Digital

Irfan Setiawan (Universitas Teknologi Digital Indonesia)
Widyastuti Andriyani (Universitas Teknologi Digital Indonesia)



Article Info

Publish Date
30 Jun 2026

Abstract

Transformasi digital layanan publik di Indonesia menghasilkan volume ulasan pengguna yang besar pada Google Play Store, khususnya untuk aplikasi layanan publik digital seperti Identitas Kependudukan Digital (IKD), BPJS Kesehatan Mobile, dan MyPertamina. Penelitian ini bertujuan untuk membandingkan kinerja dan efisiensi komputasi lima model dari tiga generasi pendekatan Natural Language Processing (NLP), yaitu Naive Bayes, Support Vector Machine (SVM), Bidirectional Long Short-Term Memory (BiLSTM), IndoBERT, dan IndoBERTweet dalam tugas analisis sentimen ulasan berbahasa Indonesia. Evaluasi dilakukan pada performa klasifikasi menggunakan accuracy, macro precision, macro recall, dan macro F1-Score serta efisiensi komputasi melalui waktu pelatihan, waktu inferensi, dan penggunaan memori. Dataset dikumpulkan melalui scraping ulasan Google Play Store dengan strategi pelabelan otomatis berbasis rating bintang (weak labels), yang keandalannya divalidasi dengan subset sampel menggunakan Cohen’s Kappa. Penggunaan label lemah ini merupakan keterbatasan yang perlu dipertimbangkan dalam interpretasi hasil, mengingat hanya sebagian kecil data yang divalidasi secara manual. Penelitian ini mengisi gap literatur pada domain aplikasi layanan publik digital Indonesia yang masih kurang dieksplorasi dalam konteks komparasi model NLP lintas generasi, sekaligus menghasilkan implikasi praktis pemilihan model berdasarkan kondisi infrastruktur komputasi yang tersedia, dengan mempertimbangkan keterbatasan generalisasi hasil pada domain dan skala dataset yang berbeda. Hasil eksperimen menunjukkan IndoBERTweet mencapai performa tertinggi dengan macro F1-Score 0,8957, sementara Naive Bayes dan SVM dapat dijalankan dalam waktu di bawah 0,15 detik tanpa GPU dengan macro F1-Score masing-masing 0,8345 dan 0,8402.

Copyrights © 2026






Journal Info

Abbrev

JSON

Publisher

Subject

Computer Science & IT Control & Systems Engineering

Description

The Jurnal Sistem Komputer dan Informatika (JSON) is a journal to managed of STMIK Budi Darma, for aims to serve as a medium of information and exchange of scientific articles between practitioners and observers of science in computer. Focus and Scope Jurnal Sistem Komputer dan Informatika (JSON) ...