Evaluasi Sentence-BERT pada Arsitektur Hybrid Chatbot ISP untuk Penanganan Out-of-Vocabulary

Ivan Yusuf Sholy Khudin (Universitas Nusantara PGRI Kediri)
Ahmad Bagus Setiawan (Universitas Nusantara PGRI Kediri)

Prosiding SEMNAS INOTEK (Seminar Nasional Inovasi Teknologi)
Vol. 10 No. 3 (2026): Prosiding Seminar Nasional Inovasi Teknologi Tahun 2026

Pendekatan rule-based pada chatbot layanan pelanggan sering kali gagal mengenali maksud pengguna ketika terdapat kesalahan ketik atau kata di luar kosakata sistem (Out-of-Vocabulary/OOV). Penelitian ini berfokus mengevaluasi kinerja model Sentence-BERT (SBERT) sebagai solusi penanganan OOV pada chatbot keluhan jaringan internet. Berbeda dengan pengembangan sistem chatbot secara utuh, penelitian ini mengisolasi pengujian khusus pada 300 dataset kalimat pelanggan yang tidak baku dan mengandung ambiguitas. Kalimat uji diproses menggunakan SBERT untuk mengekstraksi representasi semantik dan diklasifikasikan ke dalam intent spesifik. Hasil evaluasi menunjukkan model mampu mengidentifikasi intent dengan akurasi yang lebih baik dibandingkan pencocokan kata kunci konvensional, meskipun dengan kompensasi waktu komputasi yang sedikit meningkat pada sisi server. Kesimpulannya, implementasi SBERT efektif bertindak sebagai lapisan koreksi otomatis untuk meminimalisir kegagalan respons chatbot akibat variasi bahasa natural pelanggan.