IMPLEMENTASI MODEL TRANSFORMER INDOBERT BERBASIS DEEP LEARNING UNTUK DETEKSI SPAM PESAN TEKS BERBAHASA INDONESIA - Annisa Alfrini; Desi Anggreani; Fahrim Irhamna Rachman (Yayasan Nuraini Ibrahim Mandiri, 2026)
Perkembangan teknologi informasi dan komunikasi dalam beberapa tahun terakhir telah mendorong peningkatan penggunaan media digital secara masif, salah satunya adalah aplikasi Telegram. Namun, fenomena ini memunculkan permasalahan baru, yaitu ancaman penyebaran pesan spam yang tidak terkendali, berpotensi mengganggu kenyamanan, menyebabkan kerugian finansial, serta mengancam keamanan data pengguna akibat skema penipuan. Penelitian ini bertujuan untuk mengimplementasikan model deep learning berbasis arsitektur Transformer, secara spesifik menggunakan model IndoBERT, untuk mendeteksi dan mengklasifikasikan pesan teks Telegram berbahasa Indonesia ke dalam kategori spam dan non-spam (ham). Penelitian ini memanfaatkan dataset seimbang yang berjumlah 5.971 pesan teks (2.979 spam dan 2.992 non-spam), yang dikumpulkan secara langsung melalui metode scraping dari berbagai grup Telegram publik. Tahapan penelitian dirancang secara sistematis, meliputi prapemrosesan teks (case folding, cleaning, dan tokenisasi awal), tokenisasi lanjutan menggunakan metode WordPiece, penyesuaian parameter, serta proses fine-tuning pada model pralatih IndoBERT. Evaluasi performa model diukur secara komprehensif menggunakan confusion matrix. Hasil penelitian menunjukkan bahwa model IndoBERT berhasil mengidentifikasi pola linguistik spam, termasuk penggunaan bahasa informal, tautan eksternal, hingga manipulasi karakter. Model menghasilkan kinerja klasifikasi yang sangat optimal dengan perolehan nilai akurasi sebesar 97,32%, presisi 98,62%, recall 95,97%, dan F1-score 97,28%. Selain itu, pengujian langsung terhadap 10 sampel data baru (unseen data) menunjukkan tingkat keberhasilan prediksi sebesar 100% secara spesifik pada skala pengujian tersebut. Kesimpulannya, pendekatan model IndoBERT terbukti sangat efektif, tangguh, dan adaptif untuk diimplementasikan sebagai sistem penyaringan spam otomatis secara real-time pada teks berbahasa Indonesia.