FRAMEWORK Jurnal Ilmu Komputer dan Informatika
Vol 3 No 02 (2025): Framework : Jurnal Teknik Informatika

Implementasi LLM Pada Chatbot PMB Universitas Muhammadiyah Sorong Menggunakan Metode RAG Berbasis Website

Talaohu, Syamsudin Aliphadji (Unknown)
Soekarta, Rendra (Unknown)
Surahmanto, Muhammad (Unknown)



Article Info

Publish Date
05 Aug 2025

Abstract

Dalam beberapa tahun terakhir, pemanfaatan kecerdasan buatan (AI) dalam sektor pendidikan mengalami pertumbuhan yang pesat. Salah satu teknologi AI yang mulai banyak diterapkan adalah chatbot berbasis Large Language Model (LLM), yang dirancang untuk menyajikan informasi secara interaktif dan responsif. Dalam konteks Penerimaan Mahasiswa Baru (PMB), Universitas Muhammadiyah Sorong masih menghadapi tantangan dalam menyediakan layanan informasi yang cepat dan akurat, karena sistem yang digunakan masih berbasis manual melalui media sosial. Hal ini menyebabkan proses tanya jawab menjadi lambat dan kurang efisien, terutama pada saat puncak pendaftaran. Penelitian ini bertujuan untuk mengimplementasikan chatbot berbasis LLM dengan metode Retrieval-Augmented Generation (RAG) untuk mendukung layanan PMB di Universitas Muhammadiyah Sorong. Metode RAG memungkinkan chatbot untuk memahami bahasa alami dan mengakses informasi eksternal secara real-time. Hasil penelitian menunjukkan bahwa chatbot dapat merespons pertanyaan calon mahasiswa dengan akurat dan memperoleh skor usability testing 88,5%, yang menandakan sistem ini mudah digunakan dan bermanfaat. Selain itu, hasil pengujian menggunakan BERTScore menunjukkan bahwa chatbot yang dikembangkan memiliki performa yang tinggi dengan tingkat akurasi sebesar 93%, dengan rata-rata precision 90%, recall 95%, dan f1-score 92%. Hasil ini menunjukkan bahwa chatbot mampu memberikan jawaban dengan tingkat keakuratan yang tinggi, sehingga dapat meningkatkan efisiensi dan kualitas layanan PMB di Universitas Muhammadiyah Sorong.

Copyrights © 2025






Journal Info

Abbrev

jiki

Publisher

Subject

Computer Science & IT Control & Systems Engineering Decision Sciences, Operations Research & Management Engineering Other

Description

Framework : Jurnal Ilmu Komputer dan Informatika adalah jurnal ilmiah yang mengutamakan publikasi artikel-artikel yang berkaitan dengan ilmu komputer dan isu di bidang teknik infromatika seperti isu keamanan komputer, teknologi informasi, jaringan dan lain-lain. Jurnal Framework merupakan wadah ...