Implementasi Large Language Models Menggunakan Framework Langchain pada Question Answering System

Jurnal Edukasi dan Penelitian Informatika (JEPIN)
Vol 12, No 1 (2026): Volume 12 No 1

Informasi yang telah beredar luas dapat diperoleh dengan berbagai cara, salah satunya dengan bertanya kepada seseorang yang telah mengetahui informasi tersebut sebelumnya. Salah satu contohnya yaitu seseorang yang ingin mengetahui isi pedoman akademik Universitas Tanjungpura. Pedoman akademik merupakan dokumen yang berisi aturan, prosedur, dan informasi penting mengenai suatu institusi pendidikan. Teknologi saat ini telah berkembang untuk menyelesaikan masalah tersebut, salah satunya dengan membangun Question Answering System (QAS) yang dapat menjawab pertanyaan berdasarkan informasi aktual. Penelitian ini mengimplementasikan Large Language Models (LLM) dalam mengembangkan QAS menggunakan framework LangChain dengan pendekatan retrieval-augmented generation (RAG). Framework LangChain mempermudah proses pengembangan aplikasi yang memanfaatkan LLM. Proses yang diimplementasikan meliputi pembacaan dokumen PDF, pemisahan dokumen menjadi potongan (chunks), serta proses embedding dan penyimpanan ke dalam basis data vektor menggunakan Pinecone. Evaluasi sistem dilakukan menggunakan metrik ROUGEScore dan BERTScore, dengan hasil terbaik ditunjukkan oleh llama3:8B yang memperoleh skor ROUGE-1 sebesar 0,33 (33%), ROUGE-2 sebesar 0,243 (24%), dan BERTScore sebesar 0,73 (73%) dibandingkan dengan 2 model lainnya yaitu deepseek-r1:8b memperoleh skor ROUGE-1 sebesar 0,259 (25%), ROUGE-2 sebesar 0,154 (15%), dan BERTScore sebesar 0,689 (68%) dan phi-4:14b memperoleh skor ROUGE-1 sebesar 0,28 (28%), ROUGE-2 sebesar 0,208 (20%), dan BERTScore sebesar 0,722 (72%). Berdasarkan hasil evaluasi tersebut. llama3 dipilih sebagai LLM untuk QAS pedoman akademik karena mampu dalam menjawab pertanyaan berdasarkan dokumen dibandingkan 2 LLM lainnya. Kemudian dilakukan juga pengujian User Acceptance Testing (UAT) dengan 15 responden, yang menghasilkan rata-rata skor 3,96 atau setara dengan 79,2%. Hal tersebut menunjukkan kesimpulan bahwa sistem QAS diterima oleh pengguna karena dapat memberikan informasi dengan mudah, relevan, dan bermanfaat.