Journal of Artificial Intelligence and Technology Information
Vol. 4 No. 3 (2026): Volume 4 Number 3 September 2026 (Issue in Progress)

Error Checker Berbasis Neural Network pada Pembentukan Soal Cerita Matematika Dasar

Ferri Nurdiansah (Universitas Bhinneka PGRI)
Agung Prasetya (Universitas Bhinneka PGRI)
Taufiq Agung Cahyono (Universitas Bhinneka PGRI)



Article Info

Publish Date
21 Sep 2026

Abstract

Soal cerita matematika (Math Word Problem/MWP) berperan penting dalam melatih kemampuan penalaran logis siswa Sekolah Dasar. Perkembangan Large Language Model (LLM) telah memungkinkan pembuatan soal secara otomatis, namun soal yang dihasilkan kerap mengandung berbagai jenis kesalahan. Penelitian ini bertujuan: (1) mengembangkan dataset MWP berbahasa Indonesia beranotasi 11 kategori kesalahan secara multi-label; (2) merancang model multi-label classification berbasis IndoBERT dan Feed Forward Neural Network (FFNN) untuk mendeteksi kesalahan secara simultan; serta (3) mengevaluasi kinerja model menggunakan metrik Micro F1-Score, Macro F1-Score, dan Hamming Loss. Dataset dikembangkan melalui error-inducing prompting, menghasilkan 2.517 soal cerita yang dianotasi secara manual oleh dua anotator dengan rasio pembagian 80:20 menggunakan stratified random sampling. Model dilatih selama 40 epoch dengan Binary Cross Entropy loss dan optimizer AdamW. Model optimal diperoleh pada epoch ke-13 dengan validation loss 0,2616. Evaluasi pada testing set menghasilkan Micro F1-Score sebesar 0,7657, Macro F1-Score sebesar 0,7631, dan Hamming Loss sebesar 0,1387. Topic Unsafety mencapai F1-Score sempurna (1,000) dan Misspellings mendekati sempurna (0,986), sementara Grade Mismatch menjadi kategori paling sulit dideteksi (F1 = 0,591). Penelitian ini menyimpulkan bahwa pendekatan multi-label classification berbasis IndoBERT efektif untuk deteksi error pada MWP berbahasa Indonesia.

Copyrights © 2026






Journal Info

Abbrev

jaiti

Publisher

Subject

Computer Science & IT Engineering

Description

Journal of Artificial Intelligence and Technology Information (JAITI) is a peer-review journal focusing on Artificial Intelligence and Technology Information issues. Journal of Artificial Intelligence and Technology Information (JAITI) invites academics and researchers who do original research in ...