Analisis Komparatif Kinerja Llama Murni, Rag Native, dan Rag Fine-Tuning - Nindya Desyana; Ardytha Luthfiarta (Departemen Sistem Informasi, Fakultas Teknologi Informasi, Universitas Andalas, 2025)
Penelitian ini mengatasi masalah halusinasi pada Large Language Models (LLM) seperti LLaMA ketika menjawab kueri domain spesifik. Tujuan penelitian adalah membandingkan kinerja tiga arsitektur chatbot: LLaMA murni, Retrieval-Augmented Generation (RAG) berbasis LangChain (RAG Native), dan RAG Fine-Tuning. Implementasi RAG pada penelitian ini menggunakan framework LangChain sebagai sistem penghubung antara model LLaMA dan sumber pengetahuan eksternal (vector database). Framework ini menyediakan pipeline retriever-reader yang memungkinkan integrasi antara model bahasa dan data kontekstual melalui embedding serta pencarian vektor. Metode evaluasi dilakukan secara kuantitatif menggunakan metrik ROUGE-L dan BLEU pada dataset studi kasus. Hasil penelitian menunjukkan peningkatan kinerja yang progresif: arsitektur LLaMA murni (baseline) memperoleh skor ROUGE-L sebesar 46.48, implementasi RAG Native (LangChain) meningkat menjadi 61.42, dan model RAG Fine-Tuning (LangChain Optimized) mencapai kinerja tertinggi dengan skor 83.06. Penelitian ini menyimpulkan bahwa integrasi arsitektur RAG melalui framework LangChain secara signifikan meningkatkan akurasi respons chatbot, dan proses fine-tuning pada konfigurasi RAG merupakan langkah optimasi krusial untuk mencapai performa terbaik pada domain spesifik.