Claim Missing Document
Check
Articles

Evaluasi Kinerja Random Forest, SVM, dan Transformer untuk Klasifikasi Komentar Judi Online di Youtube Arroyan, Devina; Handayani, Maya Rini; Umam, Khothibul; Ulinuha, Masy Ari
JUSTIN (Jurnal Sistem dan Teknologi Informasi) Vol 14, No 1 (2026)
Publisher : Jurusan Informatika Universitas Tanjungpura

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26418/justin.v14i1.94059

Abstract

Maraknya komentar bermuatan promosi judi online di platform YouTube menimbulkan kekhawatiran terhadap kenyamanan dan keamanan digital, khususnya bagi pengguna muda. Penelitian ini bertujuan mengevaluasi kinerja tiga metode klasifikasi teks dalam mendeteksi komentar judi online berbahasa Indonesia, yaitu Transformer (IndoBERT), Support Vector Machine (SVM), dan Random Forest. Dataset yang digunakan terdiri dari 5.000 komentar hasil ekstraksi dari beberapa video YouTube yang kemudian melalui proses pelabelan manual dan prapemrosesan teks. Proses evaluasi dilakukan menggunakan skema pembagian data latih–uji sebesar 80:20 dengan metrik akurasi, precision, recall, dan F1-score sebagai ukuran performa. Hasil menunjukkan bahwa IndoBERT memberikan performa terbaik dengan akurasi 98,70% dan F1-score 0,98, lebih tinggi dibandingkan SVM (88,85%) dan Random Forest (79,62%). Studi ini memiliki keterbatasan pada jumlah dan keragaman dataset yang masih terbatas, sehingga performa model berpotensi berubah ketika diterapkan pada skala data yang lebih luas atau domain komentar lain. Penelitian lanjutan dapat mempertimbangkan penambahan data dari berbagai kategori konten YouTube serta penerapan teknik augmentasi data untuk meningkatkan generalisasi model.
DETEKSI CYBERBULLYING MULTIKELAS BERKINERJA TINGGI: ENSEMBLE ROBERTA-LARGE DENGAN PRESISI CAMPURAN Jinan, Muhammad Syifaaul; Handayani, Maya Rini; Ulinuha, Masy Ari; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8056

Abstract

Isu cyberbullying yang terus berkembang di lingkungan digital telah menjadi perhatian global serius, menimbulkan dampak negatif signifikan dan menyoroti kebutuhan mendesak akan sistem deteksi otomatis. Tujuan primer penelitian ini adalah mengembangkan dan mengevaluasi sistem klasifikasi cyberbullying multikelas yang efektif, mampu mengidentifikasi kelas-kelas age, ethnicity, gender, dan religion, sekaligus membedakannya dari konten not_cyberbullying dan other_cyberbullying. Desain penelitian ini adalah eksperimental, berfokus pada fine-tuning model bahasa besar untuk tugas klasifikasi teks. Metodologi yang diterapkan melibatkan fine-tuning model RoBERTa-Large menggunakan dataset terlabel multikelas sebanyak 47.692 tweet. Untuk meningkatkan robustisitas dan generalisasi model, digunakan teknik ensemble learning melalui soft voting dari tiga model RoBERTa-Large yang dilatih dengan seed yang berbeda. Pelatihan dilakukan dengan presisi campuran (FP16) untuk efisiensi komputasi. Hasil utama menunjukkan bahwa model ensemble ini mencapai kinerja yang solid dan kompetitif pada test set untuk deteksi cyberbullying multikelas, dengan Akurasi 0.87 dan F1-Score (Weighted) sebesar 0.86. Model menunjukkan kinerja yang sangat baik pada kelas-kelas age, ethnicity, gender, dan religion tersebut, namun masih menghadapi tantangan pada klasifikasi kelas not_cyberbullying dan other_cyberbullying. Kesimpulannya, sistem ini membuktikan efektivitas signifikan dari RoBERTa-Large dalam konfigurasi ensemble untuk deteksi cyberbullying multikelas, menunjukkan kemampuan deteksi yang kuat secara keseluruhan dan sangat baik pada kategori-kategori tertentu, memberikan dasar kuat untuk aplikasi pencegahan cyberbullying di dunia nyata.
OPINI PUBLIK DI MEDIA X TERHADAP PATRICK KLUIVERT SEBAGAI PELATIH TIMNAS INDONESIA YANG BARU DENGAN METODE NAÏVE BAYES Febrianto, Bagus; Handayani, Maya Rini; Wibowo, Nur Cahyo Hendro; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8145

Abstract

Hasil dari percobaan ini digunakan untuk menentukan persepsi publik terhadap penunjukan Patrick Kluivert sebagai pelatih baru Tim Nasional Sepak Bola Indonesia menggunakan opini komentar Masyarakat Indonesia yaitu analisis sentimen. Dataset diperoleh dari media digital X, melalui teknik crawling dengan API X, dengan periode pengambilan data dari 8 Februari hingga 24 Maret 2025. Sebanyak 3.162 tweet yang relevan berhasil dihimpun dan selanjutnya dianalisis dengan metode algoritma Multinomial Naïve Bayes. Proses analisis ini mempunyai beberapa tingkat tahapan: praproses dataset teks, labelan sentimen, serta pemodelan klasifikasi. Sentimen dibagi ke dalam 3 kelas, yaitu Netral, positif, dan Negatif. Dengan uji coba ini kita tahu bahwa mayoritas opini publik bersifat netral (77,2%), disusul sentimen positif (11,8%) dan negatif (10,9%). Model mencapai akurasi sebesar 95,2% pada data latih dan 82,5% pada data uji. Namun, performa klasifikasi terhadap kelas minoritas (positif dan negatif) masih dapat ditingkatkan, khususnya dari aspek recall. Temuan ini mengindikasikan pentingnya upaya penyeimbangan data serta optimalisasi algoritma untuk meningkatkan akurasi model terhadap data yang tidak seimbang.
PENERAPAN METODE SUPPORT VECTOR MACHINE DALAM MENGKLASIFIKASIKAN BERITA POLITIK : FAKTA VS HOAKS Maulana, Nikmal; Handayani, Maya Rini; Yuniarti, Wenty Dwi; Umam, Khothibul
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8077

Abstract

Berita hoaks di ranah politik menjadi tantangan serius dalam era digi-tal saat ini, karena dapat memengaruhi opini publik dan kestabilan so-sial. Penelitian ini bertujuan untuk membangun sistem klasifikasi otomatis yang mampu membedakan antara berita politik fakta dan hoaks. Metode yang digunakan adalah Support Vector Machine (SVM) dengan pendekatan Linear Support Vector Classification (LinearSVC), yang dikenal memiliki performa tinggi dalam menangani data teks berdimensi besar. Dataset yang digunakan terdiri dari 1.267 berita poli-tik berbahasa Inggris yang telah dilabeli sebagai “REAL” dan “FAKE”. Proses awal melibatkan pembersihan teks, tokenisasi, penghapusan stopword, dan transformasi data teks menjadi vektor numerik menggunakan TF-IDF. Model SVM kemudian dilatih dan diuji menggunakan pembagian data latih dan uji secara terstruktur. Hasil evaluasi menunjukkan bahwa model mencapai akurasi sebesar 94,24%. Selain itu, nilai precision, recall, dan f1-score masing-masing sebesar 0,94 untuk kedua kelas, yaitu berita fakta dan hoaks. Temuan ini menunjukkan bahwa metode SVM sangat efektif dalam mengklasifi-kasikan berita politik, serta berpotensi diterapkan dalam sistem deteksi hoaks berbasis teks secara otomatis. Model dan vectorizer disimpan untuk mendukung penggunaan ulang dalam aplikasi nyata. Penelitian ini memberikan kontribusi praktis dalam memitigasi penyebaran in-formasi palsu melalui teknologi kecerdasan buatan.