Article Per Year (5 Year)
p-Index From 2020 - 2025
0.23
P-Index
This Author published in this journals
All Journal Jurnal Edukasi dan Penelitian Informatika (JEPIN)
Nasirin, Rahmad Khoirun
Unknown Affiliation
Computer Science & IT Education

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Model Penilaian Jawaban Esai Berbasis Semantic Understanding Menggunakan LLaMa dan Text Similarity Nasirin, Rahmad Khoirun; indahsari, rina dewi
JEPIN (Jurnal Edukasi dan Penelitian Informatika) Vol 11, No 2 (2025): Volume 11 No 2
Publisher : Program Studi Informatika

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.26418/jp.v11i2.92529

Abstract

Teknologi kecerdasan buatan saat ini telah membuka peluang baru dalam dunia Pendidikan, khususnya untuk mengatasi permasalahan dalam penilaian soal esai yang membutuhkan waktu cukup lama dan sumber daya yang terbatas untuk melakukan penilaian. Pada penelitian ini bertujuan mengembangkan sistem penilaian soal esai menggunakan tiga kombinasi teknologi kecerdasan buatan yaitu semantic similarity dengan SentenceTransformer, cosine similarity dengan TF-IDF dan model LLaMa 3.1. Dimana sistem akan dikembangkan menggunakan dua platform utama yang akan terhubung melalui API, Framework Laravel sebagai backend utama dan Framework Flask sebagai backend analisis jawaban. Pada penelitian ini pengujian keakuratan sistem diuji menggunakan aplikasi postman dengan empat skenario yaitu pengujian jawaban sinonim, pengujian jawaban benar beda kalimat, pengujian jawaban salah dan pengujian jawaban benar, dari empat skenario tersebut diuji dengan variasi pembobotan untuk semantic similarity dan cosine similarity yaitu (50%+50%, 70%+30% dan 90%+10%). Dari hasil pengujian terdapat keempat skenario bobot yang paling efektif digunakan adalah 90% untuk semantic similarity dan 10% untuk cosine similarity yang mana sistem lebih mengutamakan kebenaran makna jawaban meskipun menggunakan kata-kata yang berbeda. Sistem juga dilengkapi dengan analisis kualitatif untuk feedback analisis perbaikan menggunakan model LLaMa melalui API Grog. Penelitian ini berhasil mengimplementasikan sistem penilaian otomatis soal esai pada platform pembelajaran online yang mana sistem dapat mengenali jawaban dengan makna yang sama meskipun menggunakan kata atau kalimat berbeda.
Co-Authors Rina Dewi Indahsari