Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Vol 9 No 3 (2025): Maret 2025

Penyaringan Informasi Sensitif pada Sistem Chatbot Berbasis Retrieval Augmented Generation dengan Metode Named Entity Recognition

Wicaksana, Kesid Dewa (Unknown)
Rizal Setya Perdana (Unknown)
Tirana Noor Fatyanosa (Unknown)



Article Info

Publish Date
10 Jan 2025

Abstract

Retrieval Augmented Generation (RAG) telah berkembang sebagai pendekatan inovatif dalam chatbot dengan menggabungkan Large Language Models (LLMs) dan sumber pengetahuan eksternal. Namun, tantangan besar muncul terkait kebocoran informasi sensitif, khususnya dalam aplikasi yang membutuhkan perlindungan privasi. Penelitian ini mengembangkan chatbot berbasis RAG dengan penyaringan informasi sensitif menggunakan Named Entity Recognition (NER). Model DistilBERT yang telah di-fine-tune untuk tugas NER pada dataset sintetis, diimplementasikan untuk mengenali entitas sensitif seperti nama, alamat, dan nomor identitas. Proses penelitian mencakup pengembangan pipeline RAG, integrasi model NER, serta evaluasi kinerja dengan metrik precision, recall, dan f-measure. Hasil menunjukkan performa tinggi dari model fine-tuned DistilBERT, dengan precision 0,965, recall 0,965, dan f-measure 0,965 pada evaluasi weighted average. Meskipun pipeline RAG memiliki performa lebih rendah, dengan precision 0,71, recall 0,92, dan f-measure 0,79, hasilnya tetap menunjukkan kemampuan memadai dalam menyaring informasi sensitif. Evaluasi ini mencerminkan potensi implementasi sistem chatbot berbasis RAG yang lebih aman dan efisien dalam menjaga privasi data pengguna.

Copyrights © 2025






Journal Info

Abbrev

j-ptiik

Publisher

Subject

Computer Science & IT Control & Systems Engineering Education Electrical & Electronics Engineering Engineering

Description

Jurnal Pengembangan Teknlogi Informasi dan Ilmu Komputer (J-PTIIK) Universitas Brawijaya merupakan jurnal keilmuan dibidang komputer yang memuat tulisan ilmiah hasil dari penelitian mahasiswa-mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya. Jurnal ini diharapkan dapat mengembangkan penelitian ...