Jurnal Sosial dan Teknologi
Vol. 6 No. 10 (2026): Jurnal Sosial dan Teknologi

Evaluasi Kualitas, Akurasi, dan Stabilitas Penilaian Pemrograman Berbantuan Model Bahasa Besar

Naufal Raihan Saputra (Institut Teknologi PLN)
Ahmad Faqod Kurnia (Institut Teknologi PLN)
Jenny Agustina Rahman (Institut Teknologi PLN)



Article Info

Publish Date
12 Oct 2026

Abstract

Model bahasa besar (LLM) menawarkan peluang otomatisasi penilaian pemrograman, tetapi kelayakannya memerlukan bukti akurasi nilai, stabilitas, dan kualitas umpan balik. Penelitian ini bertujuan mengevaluasi ketiga dimensi tersebut menggunakan data empat kelas praktikum pemrograman yang melibatkan 197 mahasiswa dan 4.664 jawaban. Pendekatan Design Science Research digunakan untuk pengembangan dan evaluasi. Akurasi diperiksa melalui 163 pasangan nilai dengan penilaian asisten historis sebagai pembanding menggunakan korelasi, metrik galat, analisis bias, kesepakatan Bland–Altman, dan kesalahan batas. Stabilitas diuji melalui penilaian berulang dan perbandingan konfigurasi, sedangkan kualitas umpan balik dinilai menggunakan ukuran tekstual otomatis dan tiga penilai LLM. Hasil menunjukkan korelasi kuat dengan nilai asisten (r = 0,854), tetapi disertai bias negatif sistematis 8,97 poin, MAE 10,09, dan RMSE 13,39. Kesalahan klasifikasi lulus menjadi gagal mencapai 17,2–18,4% pada ambang yang diperiksa. Penilaian berulang menunjukkan konsistensi tinggi (ICC = 0,9943), tetapi perubahan versi penilai menggeser nilai 2,49 poin dan pengaturan temperature nol meningkatkan variasi 4,7 kali. Umpan balik memperoleh penilaian kebenaran faktual dan kebahasaan lebih tinggi daripada keterlaksanaan saran, yang memiliki rerata 2,633. Temuan ini menunjukkan bahwa konsistensi belum menjamin validitas penilaian. LLM dapat mendukung pemeringkatan dan penyaringan, tetapi penetapan nilai akhir memerlukan kalibrasi, pengendalian versi, serta pengawasan manusia, terutama pada keputusan akademik dekat ambang kelulusan.

Copyrights © 2026






Journal Info

Abbrev

sostech

Publisher

Subject

Humanities Civil Engineering, Building, Construction & Architecture Engineering Environmental Science Law, Crime, Criminology & Criminal Justice

Description

Journal of Social Technology is a journal published once a month by CV. Syntax Corporation Indonesia. The Journal of Social Technology will publish scientific articles in the broad scope of social sciences and broad technological sciences such as information systems, information technology, and ...