Perbandingan Metode Indobert Dan Xlnet Dalam Mengukur Kemiripan Semantik Antara Tweet Dan IKP 2024 - Emor, Stevren Christian; Irene R. H. T. Tangkawarow; Audy A. Kenap (Direktorat Penelitian,Pengabdian Masyarakat dan HKI - Institut Teknologi dan Bisnis (ITB) STIKOM Bali, 2025)
Pemilihan Umum (Pemilu) merupakan pilar demokrasi yang rentan terhadap polarisasi opini publik dan penyebaran disinformasi di media sosial. Untuk memahami dinamika tersebut, diperlukan pendekatan analisis semantik guna mengidentifikasi potensi kerawanan pemilu. Penelitian ini bertujuan membandingkan kinerja dua model berbasis transformer, IndoBERT dan XLNet, dalam mengukur kemiripan semantik antara komentar media sosial (Twitter/X) dan indikator Indeks Kerawanan Pemilu (IKP) 2024. Data diperoleh melalui teknik crawling sebanyak 574 tweet dengan kata kunci “Pemilu2024”. Tahapan penelitian meliputi preprocessing (pembersihan data, tokenizing, normalisasi, dan stemming), analisis menggunakan model IndoBERT dan XLNet, perhitungan cosine similarity, serta evaluasi melalui Confusion Matrix (akurasi, presisi, recall, F1-score) dan Expert Judgment. Hasil menunjukkan bahwa XLNet memiliki performa lebih baik dengan akurasi 76%, presisi 69,5%, recall 80%, dan F1-score 74,3%, dibandingkan IndoBERT dengan akurasi 59,7%, presisi 54,3%, recall 60,9%, dan F1-score 57,3%. Penelitian ini berkontribusi dalam pengembangan metode komparatif berbasis Natural Language Processing (NLP) untuk mendeteksi potensi isu kerawanan pemilu melalui analisis opini publik di media sosial sebagai dukungan bagi pengawasan partisipatif Bawaslu