Automata
Vol. 7 No. 1 (2026)

Analisis Performa Chatbot IT Support Berbasis RAG dengan Optimasi Retrieval Bertahap

rizqullah, raffry (Unknown)
Mukhammad Andri Setiawan (Unknown)



Article Info

Publish Date
26 May 2026

Abstract

Chatbot berbasis Retrieval-Augmented Generation (RAG) menawarkan solusi untuk mengotomatisasi layanan IT Support dengan mengurangi risiko hallucination melalui grounding jawaban pada knowledge base organisasi. Penelitian ini menganalisis performa chatbot IT Support di Badan Sistem Informasi (BSI) Universitas Islam Indonesia (UII) yang menggunakan arsitektur RAG dengan multi-stage retrieval, hybrid search, cross-encoder reranking, dan Redis caching untuk optimasi latensi. Evaluasi dilakukan pada 10 skenario penggunaan yang mencakup penggunaan Nvivo, VPN eduVPN, Microsoft Office 365, Google Drive, dan layanan TI lainnya. Hasil eksperimen menunjukkan bahwa sistem hybrid search mencapai rata-rata latensi cold query sebesar 8076 ms dengan peningkatan speedup 3,06× pada warm query. Sistem mampu mencapai skor similarity rata-rata 0,628 dan berhasil menolak 80% noise query yang berada di luar domain IT Support. Temuan ini menunjukkan bahwa penggabungan LangGraph router, hybrid retrieval, reranking, dan Redis caching dapat menghasilkan chatbot IT Support yang akurat, efisien, dan robust terhadap query di luar domain.

Copyrights © 2026






Journal Info

Abbrev

AUTOMATA

Publisher

Subject

Computer Science & IT

Description

Automata mempublikasikan penelitian internal mahasiswa dan dosen Teknik Informatik Universitas Islam Indonesia. Topik-topiknya mencakup: Informatika Teori dan Sistem Cerdas Forensika Digital Sains Data Rekayasa Perangkat Lunak Informatika ...