<![CDATA[Soal cerita matematika (Math Word Problem/MWP) merupakan instrumen evaluasi penting yang mengintegrasikan kemampuan literasi dan numerasi. Perkembangan Large Language Model (LLM) membuka peluang otomatisasi pembuatan MWP dari teks bacaan. Namun, tantangan utama adalah fenomena hallucination yang menurunkan kualitas pedagogis soal. Penelitian ini bertujuan: (1) mengembangkan kerangka evaluasi groundedness berbasis enam aspek sebagai produk utama, dan (2) mengevaluasi tingkat groundedness MWP yang dihasilkan model gemma3:1b dari teks bacaan berbahasa Indonesia. Pendekatan Research and Development (R&D) dengan model ADDIE digunakan. Enam aspek groundedness dikembangkan: Entity Consistency (EC), Event Consistency (EV), Context Alignment (CA), Semantic Alignment (SA), Numerical Groundedness (QN), dan Question Relevance (QR), masing-masing dinilai menggunakan skala biner 0–1. Evaluasi dilakukan terhadap 460 soal cerita matematika valid dari empat teks bacaan BSE SD Kurikulum Merdeka menggunakan model gemma3:1b dengan lima konfigurasi parameter (E1–E5). Hasil menunjukkan gemma3:1b grounded pada teks sederhana–menengah (Teks 1: 73,25%; Teks 3: 75,91%) namun gagal pada teks kompleks (Teks 4: 47,22%). Konfigurasi E3 (temperature=0,3; top_p=0,9) memberikan keseimbangan terbaik. Kerangka evaluasi terbukti reliabel dengan Cohen's Kappa 0,68–0,81.]]>
Copyrights © 2026
