Implementasi LLM Pada Chatbot PMB Universitas Muhammadiyah Sorong Menggunakan Metode RAG Berbasis Website - Talaohu, Syamsudin Aliphadji; Soekarta, Rendra; Surahmanto, Muhammad (Universitas Muhammadiyah Sorong, 2025)
Dalam beberapa tahun terakhir, pemanfaatan kecerdasan buatan (AI) dalam sektor pendidikan mengalami pertumbuhan yang pesat. Salah satu teknologi AI yang mulai banyak diterapkan adalah chatbot berbasis Large Language Model (LLM), yang dirancang untuk menyajikan informasi secara interaktif dan responsif. Dalam konteks Penerimaan Mahasiswa Baru (PMB), Universitas Muhammadiyah Sorong masih menghadapi tantangan dalam menyediakan layanan informasi yang cepat dan akurat, karena sistem yang digunakan masih berbasis manual melalui media sosial. Hal ini menyebabkan proses tanya jawab menjadi lambat dan kurang efisien, terutama pada saat puncak pendaftaran. Penelitian ini bertujuan untuk mengimplementasikan chatbot berbasis LLM dengan metode Retrieval-Augmented Generation (RAG) untuk mendukung layanan PMB di Universitas Muhammadiyah Sorong. Metode RAG memungkinkan chatbot untuk memahami bahasa alami dan mengakses informasi eksternal secara real-time. Hasil penelitian menunjukkan bahwa chatbot dapat merespons pertanyaan calon mahasiswa dengan akurat dan memperoleh skor usability testing 88,5%, yang menandakan sistem ini mudah digunakan dan bermanfaat. Selain itu, hasil pengujian menggunakan BERTScore menunjukkan bahwa chatbot yang dikembangkan memiliki performa yang tinggi dengan tingkat akurasi sebesar 93%, dengan rata-rata precision 90%, recall 95%, dan f1-score 92%. Hasil ini menunjukkan bahwa chatbot mampu memberikan jawaban dengan tingkat keakuratan yang tinggi, sehingga dapat meningkatkan efisiensi dan kualitas layanan PMB di Universitas Muhammadiyah Sorong.