Jurnal Penelitian Ilmu Pendidikan Indonesia
Vol. 5 No. 3 (2026)

Analisis Kualitas Butir Soal Pilihan Ganda PAI Berbasis Artificial Intelligence: Komparasi ChatGPT dan Gemini AI

Muhammad Isa Anshari (Institut Agama Islam Darussalam Martapura)
Fauziah Qhotrun Nada (UIN Maulana Malik Ibrahim Malang)
Mohammad Irsyad (UIN Maulana Malik Ibrahim Malang)



Article Info

Publish Date
12 Oct 2026

Abstract

Penelitian ini bertujuan menganalisis dan membandingkan kualitas psikometrik butir soal pilihan ganda Pendidikan Agama Islam (PAI) yang dihasilkan ChatGPT dan Gemini AI ditinjau dari validitas, reliabilitas, tingkat kesukaran, dan daya pembeda. Desain penelitian kuantitatif deskriptif-komparatif dengan teknik analisis butir soal diujikan pada 54 siswa kelas VIII (kelas 8C dan 8G) SMP Negeri 1 Gandusari. Kedua platform diberi prompt terstruktur identik yang mensyaratkan komposisi 30% LOTS, 40% MOTS, dan 30% HOTS. Hasil menunjukkan 11 dari 20 butir ChatGPT (55%) dan 8 dari 20 butir Gemini (40%) dinyatakan valid, tanpa perbedaan proporsi yang signifikan (p = 0,527). Reliabilitas ChatGPT tergolong rendah (α = 0,416) sedangkan Gemini tidak reliabel (α = -0,217). Seluruh butir dari kedua platform berkategori mudah, dengan perbedaan signifikan pada tingkat kesukaran (p = 0,002). Daya pembeda kedua platform tidak berbeda signifikan (p = 0,174). Disimpulkan bahwa AI generatif dapat mempercepat penyusunan naskah soal, tetapi belum dapat menjamin kualitas psikometrik yang memadai tanpa telaah ahli dan uji coba empiris.

Copyrights © 2026






Journal Info

Abbrev

jpi

Publisher

Subject

Humanities Education Mathematics Social Sciences Other

Description

Jurnal Penelitian Ilmu Pendidikan Indonesia is to provide a research medium and an important reference for the advancement and dissemination of research results that support high-level research in the fields Culture of Education and Social Science Research . Original theoretical work and ...