Penyaringan Informasi Sensitif pada Sistem Chatbot Berbasis Retrieval Augmented Generation dengan Metode Named Entity Recognition - Wicaksana, Kesid Dewa; Rizal Setya Perdana; Tirana Noor Fatyanosa (Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 2025)
Retrieval Augmented Generation (RAG) telah berkembang sebagai pendekatan inovatif dalam chatbot dengan menggabungkan Large Language Models (LLMs) dan sumber pengetahuan eksternal. Namun, tantangan besar muncul terkait kebocoran informasi sensitif, khususnya dalam aplikasi yang membutuhkan perlindungan privasi. Penelitian ini mengembangkan chatbot berbasis RAG dengan penyaringan informasi sensitif menggunakan Named Entity Recognition (NER). Model DistilBERT yang telah di-fine-tune untuk tugas NER pada dataset sintetis, diimplementasikan untuk mengenali entitas sensitif seperti nama, alamat, dan nomor identitas. Proses penelitian mencakup pengembangan pipeline RAG, integrasi model NER, serta evaluasi kinerja dengan metrik precision, recall, dan f-measure. Hasil menunjukkan performa tinggi dari model fine-tuned DistilBERT, dengan precision 0,965, recall 0,965, dan f-measure 0,965 pada evaluasi weighted average. Meskipun pipeline RAG memiliki performa lebih rendah, dengan precision 0,71, recall 0,92, dan f-measure 0,79, hasilnya tetap menunjukkan kemampuan memadai dalam menyaring informasi sensitif. Evaluasi ini mencerminkan potensi implementasi sistem chatbot berbasis RAG yang lebih aman dan efisien dalam menjaga privasi data pengguna.