PENERAPAN RETRIEVAL AUGEMENTED GENERATION MENGGUNAKAN LANGCHAIN DALAM PENGEMBANGAN SISTEM TANYA JAWAB HADIS BERBASIS WEB - Muhammad Irfan Syah; Nazruddin Safaat Harahap; Novriyanto; Suwanto Sanjaya (ZONAsi: Jurnal Sistem Informasi, 2024)
Hadis ajaran kedua setelah al-Qur'an yang menjadi panduan bagi umat Islam. Pencarian hadis saat ini kurang interaktif dalam menjawaban pertanyaan, dimana hanya menampilkan dokumen relevan. Penelitian ini bertujuan untuk mengembangkan sistem tanya jawab hadis berbasis web dengan menerapkan Retrieval Augmented Generation menggunakan framework LangChain yang diintegrasikan dengan Large Language Model GPT-4-1106-preview dari OpenAI. Sistem ini dirancang untuk membantu pengguna dalam mencari jawaban yang sesuai dengan 9 kitab hadis. Hasil penelitian menunjukkan bahwa model dapat bekerja sesuai dengan instruksi dan data dengan menyertakan sumber dari hadis terkait. Pengujian dilakukan dengan menguji 10 pertanyaan seputar hadis dengan framework BERTScore dan uji Evaluasi kualitas jawaban dengan mahasiwa ushulludin. Pada pengujian BERTScore rata-rata f1 score sebesar 0,7962, yang menunjukkan kemiripan antara jawaban sistem dengan referensi, pengujian pada Evaluasi kualitas jawaban mencapai persentase akurasi 89,4% yang menunjukkan bahwa responden ”Sangat Setuju” terhadap jawaban yang dihasilkan oleh sistem.