Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Malcom: Indonesian Journal of Machine Learning and Computer Science
Salsabilla, Indah
Unknown Affiliation
Computer Science & IT

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Layanan Informasi Peraturan Akademik Berbasis Chatbot Telegram Menggunakan Pendekatan Retrieval-Augmented Generation: Academic Regulation Information Service Based on a Telegram Chatbot Using a Retrieval-Augmented Generation Approach Riyanto, Riyanto; Oriyasmi, Fadhilah; Wahyuni, Widya; Salsabilla, Indah
MALCOM: Indonesian Journal of Machine Learning and Computer Science Vol. 6 No. 4 (2026): MALCOM October 2026
Publisher : Institut Riset dan Publikasi Indonesia

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.57152/malcom.v6i4.2777

Abstract

Peraturan akademik merupakan pedoman penting dalam penyelenggaraan pendidikan tinggi. Penelitian ini bertujuan untuk mengembangkan chatbot berbasis Telegram untuk layanan informasi peraturan akademik menggunakan pendekatan Retrieval-Augmented Generation (RAG) di Politeknik Negeri Padang dengan memanfaatkan basis pengetahuan institusi yang telah terverifikasi. Sistem dikembangkan menggunakan PHP dengan framework Laravel dan basis data PostgreSQL yang didukung oleh ekstensi pgvector untuk penyimpanan embedding. Model gemini-embedding-001 digunakan untuk mengubah dokumen peraturan akademik menjadi representasi vektor sehingga memungkinkan proses temu kembali dokumen berdasarkan kemiripan semantik, sedangkan model gemini-2.5-flash digunakan untuk menghasilkan respons berdasarkan konteks peraturan yang berhasil ditemukan. Basis pengetahuan sistem terdiri atas Peraturan Akademik Politeknik Negeri Padang yang mencakup 18 bab dan 75 pasal. Evaluasi proses temu kembali menggunakan 15 pertanyaan uji memperoleh nilai Precision sebesar 0,7467, Recall sebesar 0,9667, dan Mean Reciprocal Rank (MRR) sebesar 0,9333. Selanjutnya, evaluasi pembangkitan jawaban menggunakan 10 pertanyaan uji dengan metode Large Language Model (LLM)-as-a-judge menghasilkan skor relevansi rata-rata sebesar 4,90 pada chatbot berbasis RAG, lebih tinggi dibandingkan chatbot tanpa RAG yang memperoleh skor sebesar 3,20. Temuan ini menunjukkan bahwa pendekatan RAG efektif dalam menyediakan layanan informasi akademik yang cepat, akurat, dan mudah diakses.
Co-Authors Oriyasmi, Fadhilah Riyanto Riyanto Widya Wahyuni