Samsat Digital Nasional (SIGNAL) merupakan aplikasi pelayanan publik yang berperan penting dalam proses pendaftaran dan pengesahan STNK secara digital. Penelitian ini bertujuan untuk membandingkan performa dua algoritma machine learning, yaitu Naïve Bayes dan K-Nearest Neighbor (KNN), dalam analisis sentimen ulasan pengguna aplikasi SIGNAL, serta melakukan root cause analysis (RCA) terhadap ulasan bersentimen negatif. Data penelitian berupa 705 ulasan pengguna aplikasi SIGNAL yang diperoleh dari Google Play Store pada periode Juni 2023 hingga Juni 2024, dengan pengambilan data dilakukan pada 4 Juni 2024. Ulasan yang digunakan mencakup keseluruhan penilaian bintang dari 1 hingga 5 dan dipilih berdasarkan relevansi serta keterkinian setiap bulan. Seluruh data kemudian dilabeli menjadi dua kelas sentimen, yaitu positif dan negatif, dengan hasil 427 ulasan positif dan 278 ulasan negatif. Tahapan text preprocessing meliputi penghapusan data duplikat, case folding, penghapusan angka dan tanda baca, tokenizing, normalisasi kata tidak baku menjadi kata baku, serta pemilahan kata berdasarkan kamus InSet (Koto, 2017). Data selanjutnya dibobotkan menggunakan metode TF-IDF dan diseimbangkan menggunakan Random Under Sampler sebelum dilakukan proses klasifikasi. Evaluasi model dilakukan menggunakan K-Fold cross validation untuk meningkatkan keandalan hasil. Hasil pengujian menunjukkan bahwa algoritma Naïve Bayes memiliki kinerja lebih baik dengan nilai akurasi sebesar 83,8%, dibandingkan KNN yang memperoleh akurasi 80,7% dengan nilai K terbaik sebesar 15. Analisis RCA pada ulasan negatif mengidentifikasi permasalahan pada aspek application services meliputi akses dan login, pendaftaran kendaraan, serta pembayaran, serta pada aspek customer services yang mencakup layanan pengaduan dan keterlambatan respon. Abstract Samsat Digital Nasional (SIGNAL) is a pivotal application for digital public services, specifically regarding the registration and validation of Vehicle Registration Certificates (STNK). This study compares Naïve Bayes and K-Nearest Neighbor (KNN) algorithms for sentiment analysis and performs a Root Cause Analysis (RCA) on negative user reviews. A total of 705 Google Play Store reviews ranging from 1 to 5 stars were collected on June 4, 2024, covering the period from June 2023 to June 2024. The data selection focused on the most relevant reviews per month, which were labeled into 427 positive and 278 negative entries. The methodology involved text preprocessing to remove duplicates, convert text to lowercase, eliminate noise, tokenize, normalize, and filter words using the InSet lexicon (Koto, 2017). Subsequently, the data was weighted using TF-IDF and balanced via a Random Under Sampler. Testing through K-Fold cross-validation revealed that Naïve Bayes provided superior results with 83.8% accuracy, whereas KNN achieved 80.7% accuracy with an optimal K value of 15. Finally, the RCA on negative feedback identified application service issues involving login access, registration, and payments, while customer service inefficiencies were primarily caused by poor complaint handling and delayed responses.
Copyrights © 2026