SmartComp
Vol 15, No 1 (2026): Smart Comp: Jurnalnya Orang Pintar Komputer

Evaluasi Terhadap Layanan LLM Dalam Pembuatan Soal Berbasis HOTS

Ghazi, Gusti Ghalib (Unknown)
Cahyono, Andhik Budi (Unknown)



Article Info

Publish Date
19 Jan 2026

Abstract

Evaluasi ini memiliki tujuan untuk menguji kemampuan layanan LLM (Large Language Model) seperti ChatGPT, Gemini, dan Deepseek dalam menghasilkan soal bertipe HOTS (High Order Thinking Skills). Soal tipe HOTS ini memiliki peran dan dampak yang penting dalam meningkatkan kemampuan berpikir kritis. Kemampuan LLM dalam menghasilkan soal HOTS sesuai dengan prompt dan teks masukan perlu diteliti untuk mengetahui efektivitas dan kualitas dari layanan tersebut dilakukan dalam beberapa tahap termasuk penentuan LLM, pembuatan soal, dan penilaian soal. Hasil evaluasi yang telah dilakukan menunjukkan temuan yang signifikan. Secara keseluruhan, ketiga layanan LLM yang menjadi subjek penelitian, yaitu ChatGPT, Google Gemini, dan Deepseek AI, terbukti dapat menghasilkan soal yang sesuai dengan karakteristik tipe soal HOTS serta telah memenuhi syarat-syarat yang ditetapkan dalam kerangka Taksonomi Bloom. Namun ditemukan bahwa salah satu diantara layanan tersebut mampu menghasilkan soal namun dengan kualitas yang tidak sebaik lawannya.  Temuan ini mengindikasikan bahwa LLM memiliki potensi besar untuk menjadi alat bantu yang efisien bagi para pendidik dalam mengembangkan instrumen penilaian yang berkualitas.

Copyrights © 2026






Journal Info

Abbrev

smartcomp

Publisher

Subject

Computer Science & IT Electrical & Electronics Engineering

Description

Smart Comp(p-ISSN: 2089-676X, e-ISSN:2549-0796) is a nationally peer reviewed computer science journal open for researchers from the field of Information Technology, Computer Engineering, Informatics Engineering, Electrical & Electronics Engineering and related researches. Smart Comp has been ...