JURNAL INSTEK (Informatika Sains dan Teknologi)
Vol 11 No 2 (2026): OCTOBER

Implementasi Metode Hybrid Retrieval dan Token-Oriented Object Notation pada Chatbot Akademik Berbasis Large Language Model

Bayu Winata (Unknown)
Defry Hamdhana (Unknown)
Rizki Suwanda (Unknown)
Fadlisyah (Unknown)
Rini Meiyanti (Unknown)



Article Info

Publish Date
31 Oct 2026

Abstract

Layanan informasi akademik di perguruan tinggi masih sering bersifat konvensional, mengharuskan mahasiswa datang ke kampus atau menghubungi pihak universitas secara manual. Penelitian ini mengembangkan chatbot akademik berbasis Large Language Model (LLM) dengan hybrid retrieval yang menggabungkan data tidak terstruktur dari dokumen akademik dan data terstruktur dari basis data relasional, serta mengimplementasikan Token-Oriented Object Notation (TOON) untuk efisiensi token. Model LLM yang digunakan adalah meta-llama/llama-4-scout-17b-16e-instruct melalui Groq, sedangkan model embedding yang digunakan adalah paraphrase-multilingual-MiniLM-L12-v2. Sistem dibangun menggunakan arsitektur Retrieval Augmented Generation (RAG) dengan ChromaDB dan Text-to-SQL, diintegrasikan melalui Intent Router berbasis prompt-based classification. Pengujian menggunakan metrik ROUGE, Execution Accuracy, dan Token Reduction Rate. Hasil pengujian menunjukkan rata-rata F1-Score sebesar 79,13% pada ROUGE-1 69,01% pada ROUGE-2, dan 78,50% pada ROUGE-L untuk jalur RAG, serta Execution Accuracy 100% pada jalur data terstruktur. TOON berhasil menghemat token rata-rata 24,60% dibandingkan JSON. Chatbot berbasis LLM dengan hybrid retrieval dan TOON mampu memberikan jawaban cepat, tepat, kontekstual, dan efisien dalam penggunaan token.

Copyrights © 2026






Journal Info

Abbrev

instek

Publisher

Subject

Computer Science & IT Control & Systems Engineering Electrical & Electronics Engineering Engineering

Description

The Scope topics include, but are not limited to : Agent System and Multi-Agent Systems Analysis & Design of Information System Artificial Intelligence Big Data and Data Mining Cloud & Grid Computing Computer Vision Cryptography Decision Support System DNA Computing E-Government E-Business ...