Penelitian ini bertujuan menganalisis dan membandingkan kualitas psikometrik butir soal pilihan ganda Pendidikan Agama Islam (PAI) yang dihasilkan ChatGPT dan Gemini AI ditinjau dari validitas, reliabilitas, tingkat kesukaran, dan daya pembeda. Desain penelitian kuantitatif deskriptif-komparatif dengan teknik analisis butir soal diujikan pada 54 siswa kelas VIII (kelas 8C dan 8G) SMP Negeri 1 Gandusari. Kedua platform diberi prompt terstruktur identik yang mensyaratkan komposisi 30% LOTS, 40% MOTS, dan 30% HOTS. Hasil menunjukkan 11 dari 20 butir ChatGPT (55%) dan 8 dari 20 butir Gemini (40%) dinyatakan valid, tanpa perbedaan proporsi yang signifikan (p = 0,527). Reliabilitas ChatGPT tergolong rendah (α = 0,416) sedangkan Gemini tidak reliabel (α = -0,217). Seluruh butir dari kedua platform berkategori mudah, dengan perbedaan signifikan pada tingkat kesukaran (p = 0,002). Daya pembeda kedua platform tidak berbeda signifikan (p = 0,174). Disimpulkan bahwa AI generatif dapat mempercepat penyusunan naskah soal, tetapi belum dapat menjamin kualitas psikometrik yang memadai tanpa telaah ahli dan uji coba empiris.
Copyrights © 2026