Model Penilaian Jawaban Esai Berbasis Semantic Understanding Menggunakan LLaMa dan Text Similarity - Nasirin, Rahmad Khoirun; indahsari, rina dewi (JEPIN (Jurnal Edukasi dan Penelitian Informatika), 2025)
Teknologi kecerdasan buatan saat ini telah membuka peluang baru dalam dunia Pendidikan, khususnya untuk mengatasi permasalahan dalam penilaian soal esai yang membutuhkan waktu cukup lama dan sumber daya yang terbatas untuk melakukan penilaian. Pada penelitian ini bertujuan mengembangkan sistem penilaian soal esai menggunakan tiga kombinasi teknologi kecerdasan buatan yaitu semantic similarity dengan SentenceTransformer, cosine similarity dengan TF-IDF dan model LLaMa 3.1. Dimana sistem akan dikembangkan menggunakan dua platform utama yang akan terhubung melalui API, Framework Laravel sebagai backend utama dan Framework Flask sebagai backend analisis jawaban. Pada penelitian ini pengujian keakuratan sistem diuji menggunakan aplikasi postman dengan empat skenario yaitu pengujian jawaban sinonim, pengujian jawaban benar beda kalimat, pengujian jawaban salah dan pengujian jawaban benar, dari empat skenario tersebut diuji dengan variasi pembobotan untuk semantic similarity dan cosine similarity yaitu (50%+50%, 70%+30% dan 90%+10%). Dari hasil pengujian terdapat keempat skenario bobot yang paling efektif digunakan adalah 90% untuk semantic similarity dan 10% untuk cosine similarity yang mana sistem lebih mengutamakan kebenaran makna jawaban meskipun menggunakan kata-kata yang berbeda. Sistem juga dilengkapi dengan analisis kualitatif untuk feedback analisis perbaikan menggunakan model LLaMa melalui API Grog. Penelitian ini berhasil mengimplementasikan sistem penilaian otomatis soal esai pada platform pembelajaran online yang mana sistem dapat mengenali jawaban dengan makna yang sama meskipun menggunakan kata atau kalimat berbeda.