Penyebaran hoaks di media sosial jauh melampaui kapasitas pemeriksaan fakta manual, sehingga sistem deteksi otomatis berbahasa Indonesia terus dikembangkan dan dilaporkan mencapai akurasi di atas 94 persen. Namun, belum ada kajian yang menguji apakah capaian itu berasal dari pemahaman isi teks atau dari pola permukaan data. Penelitian ini bertujuan mengukur besarnya kontribusi jalan pintas (shortcut) berupa gaya bahasa, sumber media, dan panjang teks pada klasifikasi berita hoaks berbahasa Indonesia. Sebanyak 31.353 dokumen dari TurnBackHoax, CNN Indonesia, Kompas, dan Tempo diperbaiki melalui pemulihan narasi hoaks, pembuangan dokumen berlabel keliru, dan penghapusan artefak redaksi, sehingga tersisa 28.995 dokumen. Empat varian teks diuji menggunakan Logistic Regression, Support Vector Machine n-gram karakter, Complement Naive Bayes, serta pengklasifikasi pembanding yang hanya memakai sembilan fitur gaya tanpa membaca kata, melalui evaluasi acak, lintas sumber, lintas waktu, penyamaan panjang, dan pengujian silang pada narasi hoaks asli. Pengklasifikasi fitur gaya mencapai F1-makro 0,968 atau setara 97,3 persen kinerja model berbasis kata, dan penyamaan panjang teks menurunkannya menjadi 0,842. Model yang dilatih mengikuti praktik penelitian terdahulu mencapai F1-makro 0,998, tetapi recall kelas hoaksnya hanya 0,361 pada narasi hoaks asli. Akurasi tinggi pada tugas ini sebagian besar bersifat semu, sehingga protokol evaluasi perlu mengendalikan gaya, sumber, dan panjang teks.
Copyrights © 2026