Evaluasi Kualitas Aplikasi M-Paspor Dengan Quality in Use Effectiveness dan Satisfaction Berdasarkan Ulasan Pengguna - Putra, Muhammad Ishadireza; Setiawan, Nanang Yudi; Saputra, Mochamad Chandra (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2026)
Digitalisasi layanan publik mendorong pengembangan aplikasi M-Paspor sebagai sarana permohonan paspor secara daring di Indonesia. Namun, rendahnya rating dan banyaknya ulasan negatif pengguna di Google Play Store mengindikasikan adanya permasalahan pada kualitas penggunaan aplikasi tersebut. Penelitian ini bertujuan untuk mengevaluasi kualitas penggunaan aplikasi M-Paspor berdasarkan karakteristik Quality in Use, khususnya aspek Effectiveness dan Satisfaction, dengan memanfaatkan ulasan pengguna sebagai sumber data. Data yang digunakan berupa 3.193 ulasan berbahasa Indonesia yang dikumpulkan dari Google Play Store pada periode Maret 2024 hingga Maret 2025. Ulasan diproses melalui tahapan pembersihan data dan text preprocessing, kemudian dilakukan pelabelan aspek menggunakan pendekatan text similarity berbasis TF-IDF dan cosine similarity dengan acuan kamus Quality in Use. Pelabelan sentimen dilakukan menggunakan metode lexicon-based dengan InSet Lexicon, dan keandalan hasil pelabelan dievaluasi melalui validasi manual menggunakan confusion matrix. Hasil analisis menunjukkan bahwa mayoritas ulasan pengguna didominasi oleh sentimen negatif pada aspek Effectiveness dan Satisfaction. Pada aspek Effectiveness, sentimen negatif berkaitan dengan ketidakstabilan sistem dan kegagalan fungsi aplikasi, sedangkan pada aspek Satisfaction mencerminkan ketidakpuasan pengguna terhadap pengalaman penggunaan aplikasi secara keseluruhan. Temuan ini menunjukkan bahwa aplikasi M-Paspor belum sepenuhnya mendukung keberhasilan penyelesaian tugas dan kenyamanan penggunaan, serta dapat menjadi dasar evaluasi dan rekomendasi perbaikan konseptual layanan publik berbasis ulasan pengguna.