Khothibul Umam
Universitas Islam Negeri Walisongo Semarang

Published : 3 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 3 Documents
Search

PENERAPAN METODE SUPPORT VECTOR MACHINE DALAM MENGKLASIFIKASIKAN BERITA POLITIK : FAKTA VS HOAKS Nikmal Maulana; Maya Rini Handayani; Wenty Dwi Yuniarti; Khothibul Umam
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.8077

Abstract

Berita hoaks di ranah politik menjadi tantangan serius dalam era digi-tal saat ini, karena dapat memengaruhi opini publik dan kestabilan so-sial. Penelitian ini bertujuan untuk membangun sistem klasifikasi otomatis yang mampu membedakan antara berita politik fakta dan hoaks. Metode yang digunakan adalah Support Vector Machine (SVM) dengan pendekatan Linear Support Vector Classification (LinearSVC), yang dikenal memiliki performa tinggi dalam menangani data teks berdimensi besar. Dataset yang digunakan terdiri dari 1.267 berita poli-tik berbahasa Inggris yang telah dilabeli sebagai “REAL” dan “FAKE”. Proses awal melibatkan pembersihan teks, tokenisasi, penghapusan stopword, dan transformasi data teks menjadi vektor numerik menggunakan TF-IDF. Model SVM kemudian dilatih dan diuji menggunakan pembagian data latih dan uji secara terstruktur. Hasil evaluasi menunjukkan bahwa model mencapai akurasi sebesar 94,24%. Selain itu, nilai precision, recall, dan f1-score masing-masing sebesar 0,94 untuk kedua kelas, yaitu berita fakta dan hoaks. Temuan ini menunjukkan bahwa metode SVM sangat efektif dalam mengklasifi-kasikan berita politik, serta berpotensi diterapkan dalam sistem deteksi hoaks berbasis teks secara otomatis. Model dan vectorizer disimpan untuk mendukung penggunaan ulang dalam aplikasi nyata. Penelitian ini memberikan kontribusi praktis dalam memitigasi penyebaran in-formasi palsu melalui teknologi kecerdasan buatan.
EVALUASI HYPERPARAMTER TUNING PADA SUPPORT VECTOR MACHINE (SVM) DALAM KLASIFIKASI ULASAN HOTEL DI TRIPADVISOR Fiashintha Dewi; Nur Cahyo Hendro Wibowo; Maya Rini Handayani; Khothibul Umam
JIPI (Jurnal Ilmiah Penelitian dan Pembelajaran Informatika) Vol 10, No 3 (2025)
Publisher : STKIP PGRI Tulungagung

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.29100/jipi.v10i3.7774

Abstract

Dengan adanya perkembangan teknologi para wisatawan sangat dimudahkan dalam mengakses informasi mengenai pemesanan kamar hotel. Dengan adanya hal tersebut, maka ulasan dari pengguna lain sangatlah penting untuk menemukan tempat yang mereka inginkan. Studi ini membahas tentang analisa ulasan para wisatawan mengenai hotel pada Tripadvisor. Tripadvisor adalah salah satu platform pan-duan wisata terbesar di dunia, yang menawarkan wisatawan untuk merencakan serta memperoleh perjalanan memuaskan. Data diambil melalui website Hugging Face yang kemudian dilanjutkan dengan proses pre-processing data. Dataset yang digunakan berjumlah 20.491 ulasan, terdiri dari 15.093 ulasan positif dan 5.938 ulasan negatif. Tujuan dari penelitian ini untuk mengevaluasi performa model SVM dalam melakukan klasifikasi sentimen pada ulasan hotel di Tripadvi-sor. Untuk mengoptimalkan performa model, dilakukan hyperparame-ter tuning menggunakan metode GridSearchCV. Hasil menunjukkan bahwa model default SVM memiliki akurasi 91%, namun recall pada kelas negatif masih rendah (0,75). Setelah tuning, akurasi sedikit menurun menjadi 90%, tetapi recall kelas negatif meningkat menjadi 0,77. Model terbaik diperoleh pada kombinasi parameter C = 10, gamma = 0,01, dan kernel = linear, dengan precision 0,92, recall 0,94, dan f1-score 0,80. Tuning terbukti meningkatkan keseimbangan klas-ifikasi antar kelas dan sensitivitas terhadap ulasan negatif. Hasil ini menegaskan pentingnya hyperparameter tuning dalam mengoptimal-kan performa dan generalisasi model SVM pada analisis sentimen dengan data yang tidak seimbang.
Fine-Tuning IndoBERT for Detecting AI-Generated Indonesian Text to Support Academic Integrity Fajar Irham Hakim; Khothibul Umam; Wenty Dwi Yuniarti
Information Technology Education Journal Vol. 5, No. 4, November (2026)
Publisher : Jurusan Teknik Informatika dan Komputer

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.59562/intec.v5i4.14451

Abstract

Purpose: This study develops and evaluates a fine-tuned IndoBERT model for detecting ChatGPT-generated Indonesian text, addressing the gap left by AI-generated text detection systems built primarily for English. Design/methodology/approach – The M4 Indonesian dataset (5,774 samples after preprocessing, group-split by article source identifier into 4,619 training, 577 validation, and 578 test samples to keep matched human-written and ChatGPT-generated pairs from leaking across partitions) was used as the basis of this study. A fixed 1,000-sample subset of the training partition was used to fine-tune IndoBERT for binary text classification using PyTorch and Hugging Face Transformers (learning rate 2e-5, three epochs, AdamW) and to train the support vector machine and Naïve Bayes benchmarks under identical conditions. Performance was evaluated on the full 578-sample test set using accuracy, precision, recall and F1-score. Findings: On 578 held-out test samples, IndoBERT reached 95.85% accuracy, 92.57% precision, 100% recall, and an F1-score of 0.9614 (macro F1 = 0.9582), against 97.06% for SVM and 93.08% for Naive Bayes. An exact McNemar's test found no statistically significant difference between IndoBERT and SVM (p = .324), indicating that IndoBERT's advantage under an earlier, non-grouped split largely reflected data leakage rather than a genuine architectural advantage. Research implications/limitations – The dataset is limited to the news domain and to text generated by a single model (ChatGPT); generalisation to academic text, such as student essays, and to outputs from other LLMs, such as Gemini or LLaMA, requires further validation. Originality/value – This study demonstrates that language-specific fine-tuning of IndoBERT can support academic integrity efforts in Indonesia, offering a practical and reproducible detection pipeline that can be adapted and further validated to identify ChatGPT-generated text in educational settings.