Journal of Technology and Data Science
Vol 3 No 1 (2025): Vol. 3 No. 1 (2025): Juni 2025

Implementasi dan Evaluasi Mekanisme Pembacaan Konteks Proaktif pada Aplikasi Chatbot AI Berbasis Web

Nadiya Ghefira El Firsi (Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia)
Nandy Thaher Ulga (Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia)
Elya Dianis (Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia)
Ahmad Muhajir (Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia)
Muhammad Reza Redo Islami (Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia)



Article Info

Publish Date
30 Jun 2025

Abstract

Chatbot berbasis Large Language Model (LLM) yang banyak digunakan saat ini umumnya beroperasi secara reaktif: pengguna harus secara eksplisit menyebut ulang konten dokumen yang telah diunggah pada setiap permintaan. Pola tersebut menambah beban kognitif dan menurunkan kualitas jawaban ketika pengguna lupa menyertakan konteks. Penelitian ini mengimplementasikan dan mengevaluasi mekanisme pembacaan konteks proaktif pada aplikasi chatbot AI berbasis web yang dibangun dengan Python Flask dan terintegrasi dengan OpenRouter API multi-model. Mekanisme proaktif menyisipkan seluruh konten file yang telah diunggah ke dalam system message sebelum kueri pengguna dikirim ke API. Pengembangan menggunakan metode Waterfall yang dimodifikasi dengan fase evaluasi komparatif. Sistem menghasilkan 525 baris kode Python dengan 14 endpoint REST dan dukungan lima format file. Pengujian black-box pada 32 skenario mencatat 31 berhasil (96,9 persen). Evaluasi komparatif terhadap empat metrik kualitas menunjukkan mode proaktif unggul: relevansi 91,2 persen versus 68,5 persen mode reaktif, kelengkapan jawaban 88,7 persen versus 62,4 persen, akurasi faktual 89,4 persen versus 71,8 persen, dan rata-rata token per request 3.420 versus 1.180. Survei kepuasan End-User Computing Satisfaction terhadap 15 responden menghasilkan skor 4,1 dari 5 untuk mode proaktif dan 3,2 untuk mode reaktif. Kontribusi penelitian adalah bukti empiris bahwa injeksi konteks proaktif meningkatkan relevansi 22,7 poin persentase dengan trade-off konsumsi token yang dapat dikelola.

Copyrights © 2025






Journal Info

Abbrev

JTDS

Publisher

Subject

Computer Science & IT Library & Information Science

Description

Journal of Technology and Data Science merupakan jurnal ilmiah peer-review dengan akses bebas dan terbuka yang peruntukannya sebagai media publikasi hasil penelitian terapan dari berbagai macam bidang keilmuan komputer & teknologi informasi. Jurnal ini mempunyai tujuan untuk menyebarluaskan hasil ...