Analisis Komparatif Kinerja Llama Murni, Rag Native, dan Rag Fine-Tuning

Desyana, Nindya
Luthfiarta, Ardytha

Jurnas Nasional Teknologi dan Sistem Informasi
Vol 11 No 3 (2025): Desember 2025

Penelitian ini mengatasi masalah halusinasi pada Large Language Models (LLM) seperti LLaMA ketika menjawab kueri domain spesifik. Tujuan penelitian adalah membandingkan kinerja tiga arsitektur chatbot: LLaMA murni, Retrieval-Augmented Generation (RAG) berbasis LangChain (RAG Native), dan RAG Fine-Tuning. Implementasi RAG pada penelitian ini menggunakan framework LangChain sebagai sistem penghubung antara model LLaMA dan sumber pengetahuan eksternal (vector database). Framework ini menyediakan pipeline retriever-reader yang memungkinkan integrasi antara model bahasa dan data kontekstual melalui embedding serta pencarian vektor. Metode evaluasi dilakukan secara kuantitatif menggunakan metrik ROUGE-L dan BLEU pada dataset studi kasus. Hasil penelitian menunjukkan peningkatan kinerja yang progresif: arsitektur LLaMA murni (baseline) memperoleh skor ROUGE-L sebesar 46.48, implementasi RAG Native (LangChain) meningkat menjadi 61.42, dan model RAG Fine-Tuning (LangChain Optimized) mencapai kinerja tertinggi dengan skor 83.06. Penelitian ini menyimpulkan bahwa integrasi arsitektur RAG melalui framework LangChain secara signifikan meningkatkan akurasi respons chatbot, dan proses fine-tuning pada konfigurasi RAG merupakan langkah optimasi krusial untuk mencapai performa terbaik pada domain spesifik.