Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Haniyah, Rania Jilan
Unknown Affiliation
Computer Science & IT Control & Systems Engineering Education Electrical & Electronics Engineering Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Analisis Pendekatan Knowledge Modelling Berbasis LLM untuk Meningkatkan Kinerja Analisis Interpretasi Jawaban Tes Esai Haniyah, Rania Jilan; Setiawan, Nanang Yudi; Pramono, Djoko
Jurnal Pengembangan Teknologi dan Ilmu Komputer Vol 10 No 5 (2026): Mei 2026
Publisher : Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi pendekatan knowledge modelling berbasis Large Language Model (LLM) dalam membantu interpretasi jawaban tes esai pada konteks evaluasi berbasis psikologi. Sistem dikembangkan melalui tahapan knowledge acquisition dengan mengumpulkan dan menyusun pengetahuan dari dokumen interpretasi psikolog, indikator penilaian, serta referensi pendukung, yang selanjutnya diintegrasikan sebagai basis pengetahuan dalam skema Retrieval Augmented Generation (RAG). Sistem dirancang menggunakan beberapa konfigurasi model LLM dan variasi knowledge dengan pendekatan Retrieval Augmented Generation (RAG). Evaluasi dilakukan melalui dua tahap, yaitu evaluasi kuantitatif untuk mengukur kinerja sistem berdasarkan metrik kelengkapan analisis, relevansi, akurasi interpretasi psikologis, serta kejelasan dan struktur penjelasan, dan evaluasi kualitatif melalui validasi expert psikolog menggunakan teknik triangulasi sumber. Hasil evaluasi kuantitatif menunjukkan bahwa model LLM GPT-5 Mini dengan penambahan knowledge pada skema RAG memperoleh kinerja terbaik dengan nilai overall score tertinggi sebesar 7,525, dibandingkan dengan model LLM lainnya maupun kondisi baseline knowledge. Hasil validasi expert menunjukkan bahwa interpretasi sistem dinilai cukup sesuai dan jelas, namun belum layak digunakan sebagai alat utama psikotes, melainkan sebagai alat bantu pendukung dalam proses interpretasi tes esai.
Co-Authors Djoko Pramono Nanang Yudi Setiawan