Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Journal of Artificial Intelligence and Technology Information
Feri Andriawan Saputra
Universitas Bhinneka PGRI
Computer Science & IT Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Analisis Groundedness Model LLM dalam Pembentukan Soal Cerita Matematika dari Teks Bacaan Berbahasa Indonesia Feri Andriawan Saputra; Agung Prasetya; Mohamad Khoirul Ansor
Journal of Artificial Intelligence and Technology Information (JAITI) Vol. 4 No. 3 (2026): Volume 4 Number 3 September 2026 (Issue in Progress)
Publisher : PT. Tech Cart Press

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.58602/jaiti.v4i3.317

Abstract

Soal cerita matematika (Math Word Problem/MWP) merupakan instrumen evaluasi penting yang mengintegrasikan kemampuan literasi dan numerasi. Perkembangan Large Language Model (LLM) membuka peluang otomatisasi pembuatan MWP dari teks bacaan. Namun, tantangan utama adalah fenomena hallucination yang menurunkan kualitas pedagogis soal. Penelitian ini bertujuan: (1) mengembangkan kerangka evaluasi groundedness berbasis enam aspek sebagai produk utama, dan (2) mengevaluasi tingkat groundedness MWP yang dihasilkan model gemma3:1b dari teks bacaan berbahasa Indonesia. Pendekatan Research and Development (R&D) dengan model ADDIE digunakan. Enam aspek groundedness dikembangkan: Entity Consistency (EC), Event Consistency (EV), Context Alignment (CA), Semantic Alignment (SA), Numerical Groundedness (QN), dan Question Relevance (QR), masing-masing dinilai menggunakan skala biner 0–1. Evaluasi dilakukan terhadap 460 soal cerita matematika valid dari empat teks bacaan BSE SD Kurikulum Merdeka menggunakan model gemma3:1b dengan lima konfigurasi parameter (E1–E5). Hasil menunjukkan gemma3:1b grounded pada teks sederhana–menengah (Teks 1: 73,25%; Teks 3: 75,91%) namun gagal pada teks kompleks (Teks 4: 47,22%). Konfigurasi E3 (temperature=0,3; top_p=0,9) memberikan keseimbangan terbaik. Kerangka evaluasi terbukti reliabel dengan Cohen's Kappa 0,68–0,81.
Co-Authors Agung Prasetya Mohamad Khoirul Ansor