Arsitektur Hybrid Berbasis Aturan dengan Fuzzy Matching dan Klasifikasi Intent SVM untuk Chatbot Pengaduan pada Layanan - Nadya Safitri; Imam Farisi; Putro Dwi Mulyo (LPPM POLITEKNIK LP3I BANDUNG, 2025)
Abstract This study proposes a hybrid architecture for complaint-handling chatbots in the public-service domain by integrating rule-based response generation, fuzzy string matching, and Support Vector Machine (SVM)-based intent classification. Rule-based approaches ensure fast and consistent responses but fail to handle linguistic variations, while fuzzy matching provides tolerance to misspellings and synonyms but lacks measurable evaluation. Meanwhile, NLP-based classifiers such as SVM enable quantitative performance assessment but do not guarantee deterministic control over chatbot outputs in sensitive domains. To address these limitations, a fallback mechanism is designed in which deterministic rules and fuzzy similarity are prioritized, and the SVM classifier is invoked only when no match is detected. The model was trained on 500 annotated conversational entries and evaluated using standard metrics. The results indicate perfect performance with precision, recall, F1-score, and accuracy reaching 1.00 for both intent classes (FAQ/Request and Report), and all dialogue flows passed black-box functional testing. Nevertheless, this performance may be influenced by dataset homogeneity and limited size. Future work will focus on dataset expansion, cross-validation, and out-of-domain evaluation to mitigate overfitting risks. The proposed hybrid architecture demonstrates strong potential for reliable deployment of complaint chatbots in public-service contexts where deterministic control and measurable accuracy are both required. Keywords: hybrid chatbot, rule-based, fuzzy matching, SVM, public-service complaints. Abstrak Penelitian ini mengusulkan sebuah arsitektur hybrid untuk chatbot pengaduan pada layanan publik dengan mengombinasikan pendekatan rule-based, fuzzy matching, dan klasifikasi intent berbasis Support Vector Machine (SVM). Pendekatan rule-based mampu memberikan respons yang cepat dan konsisten, namun gagal menghadapi variasi input bahasa, sedangkan fuzzy matching toleran terhadap kesalahan ketik dan sinonim tetapi tidak memungkinkan pengukuran akurasi. Sementara itu, model NLP seperti SVM dapat memberikan evaluasi kinerja secara kuantitatif, namun tidak menjamin kendali deterministik atas keluaran chatbot pada domain sensitif. Untuk menjembatani keterbatasan tersebut, dirancang sebuah mekanisme fallback yang memprioritaskan aturan deterministik dan fuzzy similarity, kemudian mengaktifkan SVM saat input tidak teridentifikasi. Model dilatih menggunakan 500 entri percakapan teranotasi dan dievaluasi menggunakan metrik standar. Hasil menunjukkan nilai precision, recall, f1-score, dan akurasi sebesar 1.00 untuk dua kelas intent (FAQ/Permintaan dan Lapor), serta seluruh alur percakapan lulus uji fungsional black-box. Meskipun demikian, capaian ini berpotensi dipengaruhi oleh homogenitas korpus dan ukuran dataset yang terbatas. Penelitian lanjutan diarahkan pada perluasan dataset, penerapan validasi silang, serta pengujian pada data di luar domain untuk mengurangi risiko overfitting. Arsitektur hybrid yang diusulkan berpotensi menjadi pendekatan yang andal untuk chatbot pengaduan pada konteks layanan publik yang membutuhkan respons deterministik sekaligus akurasi terukur. Kata kunci: : chatbot hybrid, rule-based, fuzzy matching, SVM, pengaduan layanan publik