Abstrak Kimia sebagai salah mata pelajaran di berikan di SMA juga mempunyai tugas utama dalam meningkatkan literasi sains siswa. Hasil analisis angket Musyawarah Guru Mata Pelajaran ( MGMP) Kimia di Kabupaten Brebes menunjukkan bahwa guru membutuhkan peningkatan kompetensi dalam mengembangkan butir tes yang sesuai dengan PISA dengan memanfaatkan teknologi. Guru mampu membuat soal yang berorientasi pemahaman konsep-konsep dasar kimia tetapi jarang melakukan asesmen yang berbasis literasi sains, sehingga diperlukan pelatihan melalui Hibah dibiayai DRTPM DirJenDiktiRistek KemDikBudRisTek Tahun 2024 untuk meningkatkan pengetahuan dan keterampilan MGMP Kimia. Tujuan pengabdian ini untuk: 1) melatih pengetahuan dan keterampilan guru MGMP Kimia untuk membuat bank butir soal PISA berbasis pemodelan Rasch menggunakan aplikasi SISMIA; 2) mengetahui respon kepuasan peserta pelatihan pengabdian. Sasaran pengabdian ini pada guru MGMP Kimia Kabupaten Brebes yang berjumlah 50 orang. Metode pengabdian menggunakan metode SMART dengan teknik DACUM. Hasil dari pengabdian ini menunjukkan bahwa terdapat peningkatan pengetahuan dan keterampilan dari mitra sebanyak 85,7 %, dan sebanyak 86,7% merasa puas terhadap pelaksanaan pengabdian. Sebanyak 100 % responden mitra merasa tertarik untuk menggunakan aplikasi SISMIA sebagai validasi bank butir tes berbasis PISA. Saran pengabdian ini dapat digunakan pada indikator kompetensi PISA yang lain. Kata kunci: pelatihan; bank butir tes; PISA; MGMP kimia; hibah DRTPM Abstract Chemistry as one of the subjects taught in high school also has the main task of increasing students' scientific literacy. The results of questionnaire analysis the Chemistry Subject Teachers' Conference (MGMP) in Brebes Regency show that teachers need to increase their competency in developing test items that comply with PISA by utilizing technology. Teachers are still happy with questions that tend to be oriented towards understanding basic science concepts but rarely carry out assessments based on scientific literacy, so special training is needed through the DRTPM, Diktiristek, KEMDIKBUDRISTEK Grant programs to improve MGMP Chemistry knowledge and skills. The aim of this service is to: 1) train the knowledge and skills of MGMP Chemistry teachers to create a PISA-based question bank using the SISMIA application; 2) find out the satisfaction response of service training participants. The target of this service is 50 MGMP Chemistry teachers in Brebes Regency. The service method uses the SMART method with the DACUM technique. The results of this service showed that there was an increase in the knowledge and skills of partners by 85.7%, and as many as 86.7% were satisfied with the implementation of the service. As many as 100% of partner respondents felt interested in using the SISMIA application as validation of the PISA-based test item bank. This service suggestion can be used in other PISA competency indicators Keywords: training; test item bank; PISA; MGMP chemistry; DRTPM grant.