Kemajuan teknologi informasi di Indonesia telah mendorong peningkatan akses internet, yang kini mencapai 79,5% dari total populasi. Kondisi ini menciptakan peluang besar bagi digitalisasi layanan publik, termasuk penerapan Sistem Pengelolaan Pengaduan Pelayanan Publik Nasional (SP4N-LAPOR!). Aplikasi ini memungkinkan masyarakat untuk menyampaikan pengaduan dengan cepat dan transparan melalui berbagai platform, termasuk aplikasi mobile. Semakin populernya perangkat mobile semakin memperkuat peran SP4N-LAPOR! dalam mendorong partisipasi masyarakat dalam pengawasan pelayanan publik. Namun, sebagian besar penelitian sebelumnya masih terbatas pada analisis data kualitatif dan kuantitatif deskriptif, sehingga pengalaman serta perspektif pengguna sebagai elemen utama dalam aplikasi ini belum tergambar secara komprehensif. Untuk mengatasi keterbatasan tersebut, penelitian ini mengusulkan penggunaan analisis sentimen terhadap ulasan masyarakat yang diberikan melalui aplikasi mobile berbasis Android. Pendekatan ini bertujuan untuk mengidentifikasi permasalahan teknis serta memberikan gambaran mengenai kualitas layanan yang disediakan oleh penyelenggara. Analisis dilakukan menggunakan teknik Machine Learning dengan tiga model utama: Naive Bayes (NB), Support Vector Machine (SVM), dan kombinasi keduanya (NBSVM) dengan tambahan fitur ekspansi N-gram. Hasil pengujian menunjukkan bahwa model NBSVM memiliki performa terbaik dengan G-Mean sebesar 0.8451, Sensitivity sebesar 0.8227 dan F2 Score sebesar 0.8215, mengungguli model NB dan SVM. Hasil dari penelitian ini diharapkan dapat menjadi alat evaluasi yang efektif bagi penyelenggara pelayanan publik serta memperkuat peran pengawasan Ombudsman RI dalam pelaksanaan SP4N-LAPOR!.