Claim Missing Document
Check
Articles

Found 37 Documents
Search

Analisis Sentimen Ulasan Mobile Legends di Google Play Store dan YouTube Menggunakan Pelabelan Otomatis Roberta dan Klasifikasi Random Forest Muhammad Rafid Pratama; Handayani, Maya Rini; Yuniarti, Wenty Dwi; Khothibul Umam
Jurnal Sistem Informasi Vol. 12 No. 2 (2025)
Publisher : Universitas Serang Raya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30656/jsii.v12i2.10459

Abstract

Perkembangan industri game mobile telah mendorong meningkatnya jumlah pengguna dan ulasan terhadap berbagai judul populer, salah satunya Mobile Legends: Bang Bang. Penelitian ini bertujuan untuk menganalisis persepsi pengguna terhadap aplikasi Mobile Legends melalui ulasan yang diperoleh dari Google Play Store dan YouTube. Metode yang digunakan meliputi pengambilan data secara crawling, pelabelan otomatis menggunakan model RoBERTa untuk klasifikasi sentimen (positif, negatif, dan netral), serta pemodelan menggunakan algoritma Random Forest. Dataset terdiri dari 1.400 data dari Google Play Store dan ratusan data dari YouTube yang telah melalui proses pra-pemrosesan. Evaluasi model menggunakan metrik precision, recall, dan f1-score. Hasil pengujian menunjukkan bahwa model mampu mengklasifikasikan ulasan dengan cukup baik, dengan akurasi sebesar 80% pada data Google Play Store dan 82% pada data YouTube. Model menunjukkan performa tinggi dalam mendeteksi ulasan negatif dan positif, meskipun akurasi untuk kelas netral masih rendah. Secara keseluruhan, model berbasis Random Forest cukup andal dalam mengolah data ulasan pengguna, dan memberikan wawasan mengenai persepsi masyarakat terhadap Mobile Legends di berbagai platform.
Evaluasi Efektivitas Support Vector Machine dan Random Forest dalam Klasifikasi Ulasan Pengguna Aplikasi Streaming Vidio Fastabiqul Khusna; Khothibul Umam; Siti Nur'aini; Maya Rini Handayani
Jurnal Sistem Informasi Vol. 12 No. 2 (2025)
Publisher : Universitas Serang Raya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30656/jsii.v12i2.10495

Abstract

Perkembangan pesat platform streaming telah menghasilkan banyak ulasan pengguna yang dapat dimanfaatkan sebagai sumber masukan untuk pengembangan aplikasi. Penelitian ini dilakukan untuk mengevaluasi kinerja algoritma Support Vector Machine (SVM) dan Random Forest (RF) dalam mengklasifikasikan sentimen ulasan pengguna terhadap aplikasi Vidio. Sebanyak 1.000 ulasan berbahasa Indonesia dikumpulkan menggunakan teknik web scraping dan diberi label sentimen berdasarkan rating bintang, di mana rating 1–2 dikategorikan sebagai sentimen negatif dan 3–5 sebagai sentimen positif. Data ulasan diproses melalui beberapa tahap preprocessing, seperti pembersihan teks, tokenisasi, penghapusan stopword, dan stemming, sebelum dikonversi menjadi representasi numerik menggunakan metode TF-IDF. Dataset dibagi menjadi 80% data latih dan 20% data uji. Kedua model dilatih dan dievaluasi menggunakan metrik accuracy, precision, recall, dan F1-score. Hasil penelitian menunjukkan bahwa performa yang lebih unggul diperoleh oleh algoritma SVM, dengan akurasi mencapai 76,11%, dibandingkan dengan RF yang memperoleh akurasi sebesar 71,67%. Selain itu, identifikasi ulasan dengan sentimen negatif juga dilakukan dengan lebih efektif oleh SVM. Temuan ini membuktikan bahwa klasifikasi sentimen ulasan aplikasi Vidio lebih tepat dilakukan menggunakan SVM, sehingga berpotensi mendukung otomatisasi analisis sentimen dan peningkatan kualitas layanan streaming. Hasil ini dapat diimplementasikan dalam sistem dashboard otomatis untuk mendeteksi keluhan pengguna secara real-time, memungkinkan pengembang Vidio meningkatkan pengalaman pengguna dengan respons yang lebih cepat dan tepat. Kata Kunci: Text Classification, User Sentiment, Support Vector Machine, Random Forest, Vidio.
OPINI PUBLIK DI MEDIA X TERHADAP PATRICK KLUIVERT SEBAGAI PELATIH TIMNAS INDONESIA YANG BARU DENGAN METODE NAÏVE BAYES Febrianto, Bagus; Handayani, Maya Rini; Wibowo, Nur Cahyo Hendro; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8145

Abstract

Hasil dari percobaan ini digunakan untuk menentukan persepsi publik terhadap penunjukan Patrick Kluivert sebagai pelatih baru Tim Nasional Sepak Bola Indonesia menggunakan opini komentar Masyarakat Indonesia yaitu analisis sentimen. Dataset diperoleh dari media digital X, melalui teknik crawling dengan API X, dengan periode pengambilan data dari 8 Februari hingga 24 Maret 2025. Sebanyak 3.162 tweet yang relevan berhasil dihimpun dan selanjutnya dianalisis dengan metode algoritma Multinomial Naïve Bayes. Proses analisis ini mempunyai beberapa tingkat tahapan: praproses dataset teks, labelan sentimen, serta pemodelan klasifikasi. Sentimen dibagi ke dalam 3 kelas, yaitu Netral, positif, dan Negatif. Dengan uji coba ini kita tahu bahwa mayoritas opini publik bersifat netral (77,2%), disusul sentimen positif (11,8%) dan negatif (10,9%). Model mencapai akurasi sebesar 95,2% pada data latih dan 82,5% pada data uji. Namun, performa klasifikasi terhadap kelas minoritas (positif dan negatif) masih dapat ditingkatkan, khususnya dari aspek recall. Temuan ini mengindikasikan pentingnya upaya penyeimbangan data serta optimalisasi algoritma untuk meningkatkan akurasi model terhadap data yang tidak seimbang.
DETEKSI CYBERBULLYING MULTIKELAS BERKINERJA TINGGI: ENSEMBLE ROBERTA-LARGE DENGAN PRESISI CAMPURAN Jinan, Muhammad Syifaaul; Handayani, Maya Rini; Ulinuha, Masy Ari; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8056

Abstract

Isu cyberbullying yang terus berkembang di lingkungan digital telah menjadi perhatian global serius, menimbulkan dampak negatif signifikan dan menyoroti kebutuhan mendesak akan sistem deteksi otomatis. Tujuan primer penelitian ini adalah mengembangkan dan mengevaluasi sistem klasifikasi cyberbullying multikelas yang efektif, mampu mengidentifikasi kelas-kelas age, ethnicity, gender, dan religion, sekaligus membedakannya dari konten not_cyberbullying dan other_cyberbullying. Desain penelitian ini adalah eksperimental, berfokus pada fine-tuning model bahasa besar untuk tugas klasifikasi teks. Metodologi yang diterapkan melibatkan fine-tuning model RoBERTa-Large menggunakan dataset terlabel multikelas sebanyak 47.692 tweet. Untuk meningkatkan robustisitas dan generalisasi model, digunakan teknik ensemble learning melalui soft voting dari tiga model RoBERTa-Large yang dilatih dengan seed yang berbeda. Pelatihan dilakukan dengan presisi campuran (FP16) untuk efisiensi komputasi. Hasil utama menunjukkan bahwa model ensemble ini mencapai kinerja yang solid dan kompetitif pada test set untuk deteksi cyberbullying multikelas, dengan Akurasi 0.87 dan F1-Score (Weighted) sebesar 0.86. Model menunjukkan kinerja yang sangat baik pada kelas-kelas age, ethnicity, gender, dan religion tersebut, namun masih menghadapi tantangan pada klasifikasi kelas not_cyberbullying dan other_cyberbullying. Kesimpulannya, sistem ini membuktikan efektivitas signifikan dari RoBERTa-Large dalam konfigurasi ensemble untuk deteksi cyberbullying multikelas, menunjukkan kemampuan deteksi yang kuat secara keseluruhan dan sangat baik pada kategori-kategori tertentu, memberikan dasar kuat untuk aplikasi pencegahan cyberbullying di dunia nyata.
EVALUASI HYPERPARAMTER TUNING PADA SUPPORT VECTOR MACHINE (SVM) DALAM KLASIFIKASI ULASAN HOTEL DI TRIPADVISOR Dewi, Fiashintha; Wibowo, Nur Cahyo Hendro; Handayani, Maya Rini; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.7774

Abstract

Dengan adanya perkembangan teknologi para wisatawan sangat dimudahkan dalam mengakses informasi mengenai pemesanan kamar hotel. Dengan adanya hal tersebut, maka ulasan dari pengguna lain sangatlah penting untuk menemukan tempat yang mereka inginkan. Studi ini membahas tentang analisa ulasan para wisatawan mengenai hotel pada Tripadvisor. Tripadvisor adalah salah satu platform pan-duan wisata terbesar di dunia, yang menawarkan wisatawan untuk merencakan serta memperoleh perjalanan memuaskan. Data diambil melalui website Hugging Face yang kemudian dilanjutkan dengan proses pre-processing data. Dataset yang digunakan berjumlah 20.491 ulasan, terdiri dari 15.093 ulasan positif dan 5.938 ulasan negatif. Tujuan dari penelitian ini untuk mengevaluasi performa model SVM dalam melakukan klasifikasi sentimen pada ulasan hotel di Tripadvi-sor. Untuk mengoptimalkan performa model, dilakukan hyperparame-ter tuning menggunakan metode GridSearchCV. Hasil menunjukkan bahwa model default SVM memiliki akurasi 91%, namun recall pada kelas negatif masih rendah (0,75). Setelah tuning, akurasi sedikit menurun menjadi 90%, tetapi recall kelas negatif meningkat menjadi 0,77. Model terbaik diperoleh pada kombinasi parameter C = 10, gamma = 0,01, dan kernel = linear, dengan precision 0,92, recall 0,94, dan f1-score 0,80. Tuning terbukti meningkatkan keseimbangan klas-ifikasi antar kelas dan sensitivitas terhadap ulasan negatif. Hasil ini menegaskan pentingnya hyperparameter tuning dalam mengoptimal-kan performa dan generalisasi model SVM pada analisis sentimen dengan data yang tidak seimbang.
Identification of Buzzers in Skincare Reviews Using a Lexicon-Based Sentiment Analysis Method Pramesti, Arfiana Diah; Umam, Khothibul; Handayani, Maya Rini
Journal of Applied Informatics and Computing Vol. 9 No. 5 (2025): October 2025
Publisher : Politeknik Negeri Batam

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30871/jaic.v9i5.11005

Abstract

Along with the rapid development of digital technology, social media has become the main platform for consumers to share experiences about products, including skincare products. However, it is not uncommon for reviews provided by users to not reflect authentic experiences, but rather reviews created by certain parties, or buzzers, to manipulate public perception. The presence of buzzers in skincare reviews is important to consider, as they can affect consumer trust and influence purchasing decisions. This study aims to identify the presence of buzzers in skincare product reviews using a lexicon dictionary-based sentiment analysis. Of the 529 comments analyzed, 75 comments showed negative sentiment and 454 comments showed positive sentiment. The classification results revealed that 85.8% of the comments belonged to the non-buzzer category, while 14.2% were indicated as buzzers. Evaluation of the classification model showed high accuracy, reaching 93%, but performance in detecting buzzers was limited, with a recall metric of only 0.50. This shows that while the model managed to classify non-buzzer comments well, there are still difficulties in identifying buzzer comments, mostly due to data imbalance. This research emphasizes the importance of a proper analytical approach in detecting inauthentic reviews to ensure the information consumers receive remains accurate, transparent, and accountable.
Mapping the Polarity of Tourist Opinions on Indonesian Destinations through Google Maps Reviews Using Supervised Learning Methods Sa’adah, Siti Miftahus; Umam, Khothibul; Handayani, Maya Rini; Mustofa, Mokhammad Iklil
Journal of Applied Informatics and Computing Vol. 9 No. 5 (2025): October 2025
Publisher : Politeknik Negeri Batam

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.30871/jaic.v9i5.9836

Abstract

The advancement of information technology has transformed how individuals seek information and plan their travels, notably through online reviews of tourist attractions on platforms like Google Maps. However, these reviews do not always align with visitors' expectations, necessitating further analysis to comprehend the underlying sentiments. The objective of this research is to inspect the performance of multiple machine learning algorithms in executing sentiment analysis on user generated reviews related to tourist attractions in Indonesia. The algorithms examined include Multinomial Naïve Bayes, Random Forest Classifier, Logistic Regression, Support Vector Machine, K-Nearest Neighbors, and Extra Trees Classifier. The research process encompasses data collection and labeling, data preprocessing, exploratory data analysis (EDA), Word Cloud visualization, feature extraction, classification implementation, and performance evaluation. Experimental results indicate that the K-Nearest Neighbors (KNN) algorithm attain the most accuracy and F1-score of 97%, indicating its effectiveness in categorizing text-based sentiment reviews sourced from the Google Maps platform.