Penelitian ini dilatarbelakangi oleh data observasi yang menunjukkan perolehan hasil belajar siswa pada pelajaran PAI masih rendah. Tujuan penelitian ini adalah untuk mengetahui sejauh mana pemahaman guru PAI terhadap kaidah-kaidah dalam penyusunan soal HOTS Multiple Choice dan mengukur tingkat kompetensi dalam membuat butir soal melalui kegiatann bimbingan dan Latihan (bimlat). Penelitian ini merupakan penelitian tindakan sekolah dengan model Kemmis dan Mc Taggart. yang dilakukan di SMP Sekolah Binaan Pengawas Kelompok 9 Kabupaten Banyumas dengan jumlah guru sebanyak 14 orang. Penelitian ini mengukur seluruh komponen yang terdapat pada kaidah penelitian soal HOTS Multiple Choice yaitu: stimulus, level kognitif dan jawaban. Hasil penelitian menunjukan peningkatan setiap komponen pada tiap-tiap siklus. Kegiatan bimlat guru menghadirkan pengalaman belajar guru PAI secara langsung terhadap pemahaman kaidah penyusunan soal HOTS Multiple Choice dan praktek penyusunan butir soal sehingga dapat meningkatkan kompetensi guru dalam menyusun instrumen penilaian siswa sebesar 36,66%. Data ini melahirkan rekomendasi penting untuk para pengawas sekolah melakukan kegiatan bimlat pada semua SMP kelompok binaan masing-masing di Kabupaten Banyumas dalam rangka meningkatkan kompetensi guru PAI dalam penyusunan instrumen penilaian hasil belajar siswa.