Nadiya Ghefira El Firsi
Department of Informatics Management, Politeknik Negeri Lampung, Bandar Lampung, Indonesia

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

Implementasi dan Evaluasi Mekanisme Pembacaan Konteks Proaktif pada Aplikasi Chatbot AI Berbasis Web Nadiya Ghefira El Firsi; Nandy Thaher Ulga; Elya Dianis; Ahmad Muhajir; Muhammad Reza Redo Islami
Journal of Technology and Data Science Vol 3 No 1 (2025): Vol. 3 No. 1 (2025): Juni 2025
Publisher : PT. Alesha Media Digital

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.59025/9365e6b9

Abstract

Chatbot berbasis Large Language Model (LLM) yang banyak digunakan saat ini umumnya beroperasi secara reaktif: pengguna harus secara eksplisit menyebut ulang konten dokumen yang telah diunggah pada setiap permintaan. Pola tersebut menambah beban kognitif dan menurunkan kualitas jawaban ketika pengguna lupa menyertakan konteks. Penelitian ini mengimplementasikan dan mengevaluasi mekanisme pembacaan konteks proaktif pada aplikasi chatbot AI berbasis web yang dibangun dengan Python Flask dan terintegrasi dengan OpenRouter API multi-model. Mekanisme proaktif menyisipkan seluruh konten file yang telah diunggah ke dalam system message sebelum kueri pengguna dikirim ke API. Pengembangan menggunakan metode Waterfall yang dimodifikasi dengan fase evaluasi komparatif. Sistem menghasilkan 525 baris kode Python dengan 14 endpoint REST dan dukungan lima format file. Pengujian black-box pada 32 skenario mencatat 31 berhasil (96,9 persen). Evaluasi komparatif terhadap empat metrik kualitas menunjukkan mode proaktif unggul: relevansi 91,2 persen versus 68,5 persen mode reaktif, kelengkapan jawaban 88,7 persen versus 62,4 persen, akurasi faktual 89,4 persen versus 71,8 persen, dan rata-rata token per request 3.420 versus 1.180. Survei kepuasan End-User Computing Satisfaction terhadap 15 responden menghasilkan skor 4,1 dari 5 untuk mode proaktif dan 3,2 untuk mode reaktif. Kontribusi penelitian adalah bukti empiris bahwa injeksi konteks proaktif meningkatkan relevansi 22,7 poin persentase dengan trade-off konsumsi token yang dapat dikelola.