Kemampuan guru menyusun butir soal penalaran/keterampilan berpikir tingkat tinggi (HOTS) masih rendah karena belum fokus pada (1) pertanyaan dan jawaban, (2) eksplorasi dan analisis, (3) penalaran informasi bukan ingatan, (4) menilai, (5) mengkritisi, dan (6) menginterpretasi. Penyebabnya adalah guru-guru masih kesulitan mengkontekstualisasikan konsep yang telah dipahami agar relevan dengan siswa. Penelitian ini bertujuan mengetahui (1) tahapan penyusunan soal ujian sekolah berbasis komputer (USBK) jenjang SMA/SMK oleh guru-guru perwakilan MGMP Dinas Pendidikan Provinsi Kalimantan Tengah, (2) strategi pendampingan In, On, In penyusunan soal USBK jenjang SMA/SMK, (3) kriteria validasi butir soal USBK jenjang SMA/SMK, dan (4) peningkatan kompetensi guru-guru perwakilan MGMP melakukan penyusunan butir soal USBK tahun pelajaran 2019/2020.Rancangan penelitian ini adalah penelitian tindakan sekolah (PTS) melalui tiga siklus dengan subjek penelitian yaitu siklus I 364 guru, siklus II 728 guru, dan siklus III 132 guru, masing-masing siklus diawali dengan kegiatan In (diskusi) dan diakhiri On (praktik). Guru-guru perwakilan MGMP jenjang SMA telah melakukan validasi 21 mata pelajaran terdiri atas 8.010 butir soal. Hasil rekap validasi menemukan bahwa soal valid 3.181 (39,71%), soal edit 2.903 (36,24%), soal move 267 (3,33%), soal delete 1.734 (21,65%), dan soal sisa 6.276 (78,35%). Guru-guru perwakilan MGMP jenjang SMK melakukan validasi 10 mata pelajaran sebanyak 4.408 butir soal. Hasil rekap validasi menemukan soal valid 1.497 (33,96%), soal edit 1553 (35,23%), soal move 172 (3,90%), soal delete 1.321 (29,97%), dan soal sisa 3.087 (70,03%).