Question Answering System pada Chatbot Telegram Menggunakan Large Language Models (LLM) dan Langchain (Studi Kasus UU Kesehatan): Question Answering System on Telegram Chatbot Using Large Language Models (LLM) and Langchain (Case Study: Health Law)

Lubis, Anggun Tri Utami BR.
Harahap, Nazruddin Safaat
Agustian, Surya
Irsyad, Muhammad
Afrianty, Iis

Malcom: Indonesian Journal of Machine Learning and Computer Science
Vol. 4 No. 3 (2024): MALCOM July 2024

Di bidang kesehatan, peraturan yang diterapkan dikenal sebagai hukum kesehatan, yang bertujuan untuk melindungi kepentingan pasien dan meningkatkan standar praktik medis. Pada tahun 2023, Indonesia menerapkan UU No 17 Tahun 2023 tentang Kesehatan, mencakup hak pasien, standar layanan, dan partisipasi masyarakat. Omnibus Law ini diharapkan menyelesaikan masalah kesehatan dan melindungi penyedia layanan. Penelitian ini bertujuan untuk mengembangkan Question Answering System (QAS) berbasis chatbot yang terintegrasi dengan Telegram. Metode yang digunakan adalah Langchain dan Large Language Models (LLM). Langchain digunakan untuk memfasilitasi pembangunan chatbot, sementara LLM adalah jenis model AI yang menggunakan pendekatan pembelajaran mesin untuk menghasilkan teks yang serupa dengan bahasa manusia. Sumber data yang digunakan sebagai basis pengetahuan adalah UU No 17 tahun 2023 tentang kesehatan. Chatbot yang dibangun telah berhasil memberikan jawaban kepada pengguna dengan hasil pengujian menggunakan BERTScore mendapatkan rata-rata nilai precision, recall, f1-score masing-masing sebesar 76%, 80%, 78%. Sedangkan untuk ROUGE-1 sebesar 60%, 45%, 50%, untuk ROUGE-2 sebesar 34%, 25%, 28%,  dan untuk ROUGE-L sebesar 45%,34%,38%.