Malcom: Indonesian Journal of Machine Learning and Computer Science
Vol. 6 No. 4 (2026): MALCOM October 2026

Layanan Informasi Peraturan Akademik Berbasis Chatbot Telegram Menggunakan Pendekatan Retrieval-Augmented Generation: Academic Regulation Information Service Based on a Telegram Chatbot Using a Retrieval-Augmented Generation Approach

Riyanto, Riyanto (Unknown)
Oriyasmi, Fadhilah (Unknown)
Wahyuni, Widya (Unknown)
Salsabilla, Indah (Unknown)



Article Info

Publish Date
30 Oct 2026

Abstract

Peraturan akademik merupakan pedoman penting dalam penyelenggaraan pendidikan tinggi. Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Telegram untuk layanan informasi peraturan akademik menggunakan pendekatan Retrieval-Augmented Generation (RAG) di Politeknik Negeri Padang dengan memanfaatkan basis pengetahuan institusi yang telah terverifikasi. Sistem dikembangkan menggunakan PHP dengan framework Laravel dan basis data PostgreSQL yang didukung oleh ekstensi pgvector untuk penyimpanan embedding. Model gemini-embedding-001 digunakan untuk mengubah dokumen peraturan akademik menjadi representasi vektor sehingga memungkinkan proses temu kembali dokumen berdasarkan kemiripan semantik, sedangkan model gemini-2.5-flash digunakan untuk menghasilkan respons berdasarkan konteks peraturan yang berhasil ditemukan. Basis pengetahuan sistem terdiri atas Peraturan Akademik Politeknik Negeri Padang yang mencakup 18 bab dan 75 pasal. Evaluasi proses temu kembali menggunakan 15 pertanyaan uji memperoleh nilai Precision sebesar 0,7467, Recall sebesar 0,9667, dan Mean Reciprocal Rank (MRR) sebesar 0,9333. Selanjutnya, evaluasi pembangkitan jawaban menggunakan 10 pertanyaan uji dengan metode Large Language Model (LLM)-as-a-judge menghasilkan skor relevansi rata-rata sebesar 4,90 pada chatbot berbasis RAG, lebih tinggi dibandingkan chatbot tanpa RAG yang memperoleh skor sebesar 3,20. Temuan ini menunjukkan bahwa pendekatan RAG efektif dalam menyediakan layanan informasi akademik yang cepat, akurat, dan mudah diakses.

Copyrights © 2026






Journal Info

Abbrev

malcom

Publisher

Subject

Computer Science & IT

Description

MALCOM: Indonesian Journal of Machine Learning and Computer Science is a scientific journal published by the Institut Riset dan Publikasi Indonesia (IRPI) in collaboration with several Universities throughout Riau and Indonesia. MALCOM will be published 2 (two) times a year, April and October, each ...