Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal AI dan SPK : Jurnal Artificial Intelligent dan Sistem Penunjang Keputusan
Agustin, Amara Seviany
Unknown Affiliation
Aerospace Engineering Automotive Engineering Chemical Engineering, Chemistry & Bioengineering Computer Science & IT Control & Systems Engineering Decision Sciences, Operations Research & Management

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Analisis Komparatif Metode Bag Of Words, TF-IDF, dan Transformer pada Sistem Penilaian Esai Otomatis Berbasis Kecerdasan Buatan Agustin, Amara Seviany; Widodo, Suprih; Elviani, Ulva; Sari, Ayu Permata; Barri, Muhamad Akda Fathul
AI dan SPK : Jurnal Artificial Intelligent dan Sistem Penunjang Keputusan Vol. 3 No. 2 (2025): Jurnal AI dan SPK : Jurnal Artificial Inteligent dan Sistem Penunjang Keputusan
Publisher : CV. Shofanah Media Berkah

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Penilaian esai secara manual menghadapi kendala inkonsistensi, subjektivitas, dan keterbatasan waktu, terutama pada pembelajaran berskala besar. Penelitian ini membandingkan tiga pendekatan representasi teks pada sistem penilaian esai otomatis berbasis kecerdasan buatan, yaitu Bag of Words (BoW), Term Frequency–Inverse Document Frequency (TF-IDF), dan Transformer (IndoBERT). Dataset yang digunakan berasal dari Kaggle Learning Agency Lab Automated Essay Scoring 2.0 yang terdiri atas 17.207 esai berbahasa Inggris dan diterjemahkan ke bahasa Indonesia menggunakan model Helsinki-NLP opus-mt-en-id. Tahap prapemrosesan meliputi case folding, pembersihan teks, penghapusan stopword, dan stemming menggunakan pustaka Sastrawi. Metode BoW dan TF-IDF dipadukan dengan Support Vector Regression, sedangkan pendekatan Transformer menggunakan fine-tuning IndoBERT. Evaluasi dilakukan menggunakan metrik Quadratic Weighted Kappa (QWK). Hasil eksperimen menunjukkan bahwa IndoBERT mencapai performa tertinggi dengan nilai QWK sebesar 0,7842, diikuti TF-IDF sebesar 0,6521 dan BoW sebesar 0,6103. Meskipun Transformer unggul dari sisi akurasi, metode klasik tetap relevan untuk implementasi dengan keterbatasan sumber daya komputasi karena efisiensi waktu dan kompleksitas yang lebih rendah. Temuan ini menegaskan pentingnya pemilihan metode penilaian otomatis yang disesuaikan dengan konteks kebutuhan dan infrastruktur pendidikan.
Co-Authors Ayu Permata Sari Barri, Muhamad Akda Fathul Elviani, Ulva Suprih Widodo, Suprih