<![CDATA[Abstrak— Akses informasi akademik di Universitas Negeri Surabaya (UNESA) melalui website panduan saat ini dinilai belum optimal karena kurangnya interaktivitas, sehingga mahasiswa seringkali harus menghubungi pihak administrasi secara langsung. Penelitian ini bertujuan untuk melakukan evaluasi kinerja Retrieval-Augmented Generation (RAG), yaitu RAG Klasik guna menguji kinerja sistem dalam menghasilkan respon yang relevan, akurat, dan kontekstual pada chatbot akademik. Lingkup penelitian ini difokuskan pada pengujian evaluasi kinerja dan efisiensi metode tersebut dalam mengolah data multimodal yang bersumber dari portal SSO UNESA, mencakup format teks, gambar, dan dokumen PDF. Metodologi yang digunakan meliputi tahap pengumpulan data, ekstraksi teks menggunakan Optical Character Recognition (OCR), preprocessing, serta penerapan dua strategi pelabelan, yakni manual dan otomatis. Penelitian ini menganalisis kinerja RAG Klasik yang menggunakan algoritma BM25 dalam mengolah data multimodal. RAG Klasik diimplementasikan menggunakan algoritma BM25 berbasis kata kunci. Evaluasi dilakukan secara sistematis menggunakan metrik efektivitas (Precision, Recall, F1-Score, Exact Match, dan Cosine Similarity) serta metrik efisiensi (waktu respons). Hasil penelitian menunjukkan bahwa RAG Klasik memiliki efisiensi luar biasa dengan waktu respon rata-rata dibawah 0,01 detik. Namun, dari sisi kinerja, metode ini sangat bergantung pada kualitas pelabelan, di mana skenario label otomatis mencapai F1-Score 0.52 dan Csoine Similarity 0.51, mengungguli scenario label manual. Penelitian menyimpulkan bahwa RAG Klasik sangat ideal untuk informasi procedural yang membutuhkan respon instan meskipun memiliki keterbatsan dalam pemahaman semantic yang mendalam. Kata Kunci— Retrieval Augmented Generation (RAG), RAG Klasik, BM25, Multimodal, UNESA.]]>
Copyrights © 2026
