Analisis Perbandingan Performa Retrieval-Augmented Generation pada Sistem Tanya Jawab Gizi Klinis - Hakim, Muhammad Yasin; Fatyanosa, Tirana Noor; Data, Mahendra (Jurnal Pengembangan Teknologi dan Ilmu Komputer, 2026)
Informasi di domain gizi klinis yang terus berkembang pesat menimbulkan tantangan bagi tenaga medis dalam mengakses jawaban yang akurat, terutama pada literatur berbahasa Indonesia yang masih terbatas. Pemanfaatan Large Language Model (LLM) untuk sistem tanya jawab gizi klinis juga masih menghadapi permasalahan hallucination yang berisiko serius dalam konteks klinis. Penelitian ini bertujuan untuk merancang, mengimplementasikan, dan mengevaluasi pipeline Retrieval-Augmented Generation (RAG) untuk sistem tanya jawab di domain gizi klinis menggunakan dataset berbahasa Indonesia. Pipeline dibangun dari lima komponen utama: query embedder, document retriever, prompt builder, generator berbasis Llama 3.2 3B dan GPT-OSS, serta answer builder. Evaluasi dilakukan menggunakan BERTScore dan RAGAS terhadap empat eksperimen yang membandingkan kedua model dengan dan tanpa RAG. Hasil menunjukkan bahwa RAG secara konsisten meningkatkan kualitas jawaban. Llama 3.2 3B dengan RAG memperoleh BERT F1 tertinggi (0,5703), dengan peningkatan 5,8%, sedangkan GPT-OSS dengan RAG mencapai 0,5658 dengan peningkatan 10,3%. Evaluasi RAGAS mengungkapkan trade-off antara faithfulness dan answer relevancy: GPT-OSS unggul pada faithfulness (0,6881) namun rendah pada answer relevancy (0,1595), sementara Llama 3.2 3B menunjukkan keseimbangan yang lebih baik. Temuan ini mengonfirmasi bahwa model open-source berukuran kecil dengan RAG dapat menjadi alternatif efisien untuk sistem tanya jawab klinis berbahasa Indonesia.