Ferri Nurdiansah
Universitas Bhinneka PGRI

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

Error Checker Berbasis Neural Network pada Pembentukan Soal Cerita Matematika Dasar Ferri Nurdiansah; Agung Prasetya; Taufiq Agung Cahyono
Journal of Artificial Intelligence and Technology Information (JAITI) Vol. 4 No. 3 (2026): Volume 4 Number 3 September 2026 (Issue in Progress)
Publisher : PT. Tech Cart Press

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.58602/jaiti.v4i3.316

Abstract

Soal cerita matematika (Math Word Problem/MWP) berperan penting dalam melatih kemampuan penalaran logis siswa Sekolah Dasar. Perkembangan Large Language Model (LLM) telah memungkinkan pembuatan soal secara otomatis, namun soal yang dihasilkan kerap mengandung berbagai jenis kesalahan. Penelitian ini bertujuan: (1) mengembangkan dataset MWP berbahasa Indonesia beranotasi 11 kategori kesalahan secara multi-label; (2) merancang model multi-label classification berbasis IndoBERT dan Feed Forward Neural Network (FFNN) untuk mendeteksi kesalahan secara simultan; serta (3) mengevaluasi kinerja model menggunakan metrik Micro F1-Score, Macro F1-Score, dan Hamming Loss. Dataset dikembangkan melalui error-inducing prompting, menghasilkan 2.517 soal cerita yang dianotasi secara manual oleh dua anotator dengan rasio pembagian 80:20 menggunakan stratified random sampling. Model dilatih selama 40 epoch dengan Binary Cross Entropy loss dan optimizer AdamW. Model optimal diperoleh pada epoch ke-13 dengan validation loss 0,2616. Evaluasi pada testing set menghasilkan Micro F1-Score sebesar 0,7657, Macro F1-Score sebesar 0,7631, dan Hamming Loss sebesar 0,1387. Topic Unsafety mencapai F1-Score sempurna (1,000) dan Misspellings mendekati sempurna (0,986), sementara Grade Mismatch menjadi kategori paling sulit dideteksi (F1 = 0,591). Penelitian ini menyimpulkan bahwa pendekatan multi-label classification berbasis IndoBERT efektif untuk deteksi error pada MWP berbahasa Indonesia.