Muhammad Isa Anshari
Institut Agama Islam Darussalam Martapura

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

Analisis Kualitas Butir Soal Pilihan Ganda PAI Berbasis Artificial Intelligence: Komparasi ChatGPT dan Gemini AI Muhammad Isa Anshari; Fauziah Qhotrun Nada; Mohammad Irsyad
Jurnal Penelitian Ilmu Pendidikan Indonesia Vol. 5 No. 3 (2026)
Publisher : Lembaga Penelitian dan Pengabdian Masyarakat, Universitas Pahlawan Tuanku Tambusai

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.31004/jpion.v5i3.1457

Abstract

Penelitian ini bertujuan menganalisis dan membandingkan kualitas psikometrik butir soal pilihan ganda Pendidikan Agama Islam (PAI) yang dihasilkan ChatGPT dan Gemini AI ditinjau dari validitas, reliabilitas, tingkat kesukaran, dan daya pembeda. Desain penelitian kuantitatif deskriptif-komparatif dengan teknik analisis butir soal diujikan pada 54 siswa kelas VIII (kelas 8C dan 8G) SMP Negeri 1 Gandusari. Kedua platform diberi prompt terstruktur identik yang mensyaratkan komposisi 30% LOTS, 40% MOTS, dan 30% HOTS. Hasil menunjukkan 11 dari 20 butir ChatGPT (55%) dan 8 dari 20 butir Gemini (40%) dinyatakan valid, tanpa perbedaan proporsi yang signifikan (p = 0,527). Reliabilitas ChatGPT tergolong rendah (α = 0,416) sedangkan Gemini tidak reliabel (α = -0,217). Seluruh butir dari kedua platform berkategori mudah, dengan perbedaan signifikan pada tingkat kesukaran (p = 0,002). Daya pembeda kedua platform tidak berbeda signifikan (p = 0,174). Disimpulkan bahwa AI generatif dapat mempercepat penyusunan naskah soal, tetapi belum dapat menjamin kualitas psikometrik yang memadai tanpa telaah ahli dan uji coba empiris.