<![CDATA[Evaluasi otomatis sistem tanya jawab berbasis Retrieval-Augmented Generation (RAG) dapat menyesatkan ketika pertanyaan ujinya dibuat secara sintetis. Pertanyaan yang diturunkan dari blok teks berukuran tetap cenderung menaikkan skor konfigurasi pembagian teks (chunking) yang menggunakan ukuran yang sama. Penelitian ini membandingkan empat ukuran potongan teks, yaitu 128, 256, 512, dan 1024 token pada sistem tanya jawab Buku Panduan Akademik Universitas Muhammadiyah Purwokerto (UMP) yang dibangun dengan Structure-Aware Recursive Splitter, model embedding BAAI/bge-m3, dan generator gpt-oss-120b. Performa diukur dengan kerangka RAGAS pada 950 pertanyaan sintetis dan 51 pertanyaan organik (buatan manusia); hanya hasil pada dataset organik yang diuji dengan Wilcoxon Signed-Rank serta koreksi Holm. Skenario 512 token unggul pada seluruh metrik di dataset sintetis, konsisten dengan kebocoran data struktural. Keunggulan tersebut tidak terulang pada pertanyaan organik: tidak ditemukan perbedaan signifikan di antara skenario 256, 512, dan 1024 token (), dan hasil ini belum dapat disimpulkan karena daya statistik yang rendah ( hingga 41). Skenario 512 token layak dijadikan pilihan awal yang hemat sumber daya karena memerlukan sekitar separuh beban konteks inferensi skenario 1024 token tanpa perbedaan kualitas jawaban yang terdeteksi pada kondisi yang diuji.]]>
Copyrights © 2026
