Claim Missing Document
Check
Articles

ANALISIS PERBANDINGAN ALGORITMA NAIVE BAYES DAN KNN UNTUK ANALISIS SENTIMEN ULASAN PENGGUNA APLIKASI VIDIO DI GOOGLE PLAY STORE Pratmanto, Dany; Widayanto, Aprih; Kristania, Yustina Meisella; Ubaidillah , Ubaidillah; Wijianto, Ragil
CONTEN : Computer and Network Technology Vol. 4 No. 2 (2024): Desember 2024
Publisher : LPPM Universitas Bina Sarana Informatika

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31294/conten.v4i2.6891

Abstract

Penelitian ini mengkaji efektivitas algoritma Naive Bayes (NB) dan K-Nearest Neighbors (KNN) dalam analisis sentimen ulasan pengguna aplikasi Vidio di Google Play Store. Evaluasi kinerja kedua model dilakukan menggunakan berbagai metrik, termasuk akurasi, precision, recall, dan Area Under Curve (AUC). Hasil penelitian menunjukkan bahwa KNN mengungguli Naive Bayes dalam beberapa aspek penting. KNN mencapai akurasi 74.92% dibandingkan dengan Naive Bayes sebesar 71.32%. Dalam hal precision, KNN juga menunjukkan performa yang lebih baik dengan nilai 76.52%, sementara Naive Bayes mencapai 71.61%. Meskipun demikian, kedua model menunjukkan kinerja yang sebanding dalam hal recall, dengan KNN mencapai 72.54% dan Naive Bayes 71.46%. Yang menarik, kedua model memiliki nilai AUC yang sangat tinggi dan hampir setara, yaitu 90.10% untuk KNN dan 90.00% untuk Naive Bayes, menunjukkan kemampuan yang sangat baik dalam membedakan sentimen positif dan negatif. Berdasarkan hasil evaluasi secara keseluruhan, algoritma KNN lebih direkomendasikan untuk implementasi analisis sentimen pada ulasan pengguna aplikasi Vidio.
Implementation of Zero-Shot DeBERTa and IndoBERT for Aspect-Based Sentiment Analysis on Reviews of Five LLM Applications Fabriyan Fandi Dwi Imaniawan; Ragil Wijianto; Vadlya Maarif; Joko Dwi Mulyanto; Mustofa Mustofa; Aprih Widayanto
Reputasi: Jurnal Rekayasa Perangkat Lunak Vol. 7 No. 1 (2026): Mei 2026
Publisher : LPPM Universitas Bina Sarana Informatika

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31294/reputasi.v7i1.12790

Abstract

Large Language Model (LLM) applications such as ChatGPT, Gemini, Copilot, Claude, and Perplexity have been massively adopted in Indonesia, yet user experience evaluation remains largely limited to global sentiment analysis. This study implements Aspect-Based Sentiment Analysis (ABSA) using a dual-Transformer approach: DeBERTa zero-shot for aspect extraction and IndoBERT for sentiment classification on 5,000 Indonesian-language reviews from the Google Play Store across four aspect categories. Manual validation by two annotators on 300 samples yielded Cohen’s Kappa of  (aspect) and  (sentiment), both Moderate. Evaluation against the gold standard showed aspect accuracy of 37.5% (weighted F1 = 0.42) and sentiment accuracy of 64.7% (weighted F1 = 0.61). Sensitivity analysis across five hypothesis templates revealed inter-template Kappa of 0.19–0.63, confirming template selection impact on predictions. Comparative analysis reveals Copilot achieves the highest satisfaction (mean score 4.67), while Claude records the most complaints (36.9% negative). This study contributes a validated comparative ABSA framework for Indonesian-language LLM applications