Claim Missing Document
Check
Articles

Found 1 Documents
Search

Penyaringan Informasi Sensitif pada Sistem Chatbot Berbasis Retrieval Augmented Generation dengan Metode Named Entity Recognition Wicaksana, Kesid Dewa; Rizal Setya Perdana; Tirana Noor Fatyanosa
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol 9 No 3 (2025): Maret 2025
Publisher : Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Retrieval Augmented Generation (RAG) telah berkembang sebagai pendekatan inovatif dalam chatbot dengan menggabungkan Large Language Models (LLMs) dan sumber pengetahuan eksternal. Namun, tantangan besar muncul terkait kebocoran informasi sensitif, khususnya dalam aplikasi yang membutuhkan perlindungan privasi. Penelitian ini mengembangkan chatbot berbasis RAG dengan penyaringan informasi sensitif menggunakan Named Entity Recognition (NER). Model DistilBERT yang telah di-fine-tune untuk tugas NER pada dataset sintetis, diimplementasikan untuk mengenali entitas sensitif seperti nama, alamat, dan nomor identitas. Proses penelitian mencakup pengembangan pipeline RAG, integrasi model NER, serta evaluasi kinerja dengan metrik precision, recall, dan f-measure. Hasil menunjukkan performa tinggi dari model fine-tuned DistilBERT, dengan precision 0,965, recall 0,965, dan f-measure 0,965 pada evaluasi weighted average. Meskipun pipeline RAG memiliki performa lebih rendah, dengan precision 0,71, recall 0,92, dan f-measure 0,79, hasilnya tetap menunjukkan kemampuan memadai dalam menyaring informasi sensitif. Evaluasi ini mencerminkan potensi implementasi sistem chatbot berbasis RAG yang lebih aman dan efisien dalam menjaga privasi data pengguna.