Layanan informasi akademik di perguruan tinggi masih sering bersifat konvensional, mengharuskan mahasiswa datang ke kampus atau menghubungi pihak universitas secara manual. Penelitian ini mengembangkan chatbot akademik berbasis Large Language Model (LLM) dengan hybrid retrieval yang menggabungkan data tidak terstruktur dari dokumen akademik dan data terstruktur dari basis data relasional, serta mengimplementasikan Token-Oriented Object Notation (TOON) untuk efisiensi token. Model LLM yang digunakan adalah meta-llama/llama-4-scout-17b-16e-instruct melalui Groq, sedangkan model embedding yang digunakan adalah paraphrase-multilingual-MiniLM-L12-v2. Sistem dibangun menggunakan arsitektur Retrieval Augmented Generation (RAG) dengan ChromaDB dan Text-to-SQL, diintegrasikan melalui Intent Router berbasis prompt-based classification. Pengujian menggunakan metrik ROUGE, Execution Accuracy, dan Token Reduction Rate. Hasil pengujian menunjukkan rata-rata F1-Score sebesar 79,13% pada ROUGE-1 69,01% pada ROUGE-2, dan 78,50% pada ROUGE-L untuk jalur RAG, serta Execution Accuracy 100% pada jalur data terstruktur. TOON berhasil menghemat token rata-rata 24,60% dibandingkan JSON. Chatbot berbasis LLM dengan hybrid retrieval dan TOON mampu memberikan jawaban cepat, tepat, kontekstual, dan efisien dalam penggunaan token.
Copyrights © 2026