<![CDATA[Peraturan Rektor Universitas Brawijaya memiliki struktur dan bahasa hukum yang kompleks sehingga dapat menyulitkan mahasiswa dalam mengakses informasi secara cepat. Penelitian ini mengembangkan Chatbot berbasis Retrieval-Augmented Generation (RAG) untuk merespons pertanyaan terkait peraturan rektor tersebut dengan membandingkan kinerja dua metode retrieval, yaitu Cosine Similarity dan BM25. Sistem dibangun menggunakan Large Language Model Llama 3.3 70B sebagai generator dan dievaluasi dengan metrik Precision untuk retriever, serta metrik Answer Relevancy untuk generator. Hasil penelitian menunjukkan bahwa metode Cosine Similarity menghasilkan skor Precision@3 0,6070, lebih tinggi daripada BM25 yang mencapai 0,5482. Namun, uji signifikansi statistik terhadap perbedaan kedua metode tersebut menghasilkan nilai p-value 0,4504, yang mengindikasikan bahwa keunggulan Cosine Similarity tidak signifikan secara statistik. Selanjutnya, komponen generator berkinerja konsisten baik dengan Answer Relevancy 1,0, yang membuktikan LLM dapat bekerja efektif dan dapat menjawab pertanyaan terkait Peraturan Rektor Universitas Brawijaya dengan baik.]]>
Copyrights © 2026
