<![CDATA[Background: Objective Structured Clinical Examination (OSCE) is a method to evaluate students’ nursing skills. OSCE uses checklist as an instrument to test hand washing and gloving skills. While reliability values of both checklists are vital aspect for the instrument, they have not been measured in PSIK FKKMK UGM.Objective: To identify the interrater reliability in the hand washing and gloving skills of OSCE checklists at PSIK FKKMK UGM.Method: This research used non-experimental descriptive quantitative research type with cross-sectional design. The respondents were 92 first-year students at PSIK FKKMK UGM participating in the OSCE examination. Assessment on students performance were conducted using hand washing and gloving checklists by two raters. The scores were analyzed using Kappa and percent agreement (PA).Result: Hand washing checklist had Kappa value of 0,146 (quite poor) and PA 80,40% (acceptable). Gloving checklist had Kappa value of 0,228 (poor) and PA 78,20% (acceptable). The results were divided into two categories, first Kappa not acceptable and PA acceptable or called Kappa paradox consisting of 14 checklist items. Furthermore, there were 11 checklist items in the second category namely Kappa not acceptable and PA not acceptable.Conclusion: Hand washing and gloving skill checklists which are used by PSIK FKKMK UGM do not possess good interrater reliability in measuring the skills of nursing students. These checklists need revision and statistical test in order to improve education quality at School of Nursing at FKKMK UGM.ABSTRAKLatar belakang: Salah satu metode untuk mengevaluasi keterampilan keperawatan mahasiswa adalah menggunakan Objective Structured Clinical Examination (OSCE). Instrumen yang dapat digunakan dalam OSCE adalah checklist. Reliabilitas merupakan aspek penting dalam suatu instrumen. Pengujian reliabilitas dari checklist mencuci tangan dan memakai sarung tangan di PSIK FKKMK UGM belum pernah dilakukan.Tujuan: Untuk mengetahui interrater reliability pada checklist OSCE keterampilan mencuci tangan dan memakai sarung tangan di PSIK FKKMK UGM.Metode: Penelitian ini merupakan jenis penelitian deskriptif kuantitatif non-eksperimental dengan rancangan penelitian cross-sectional. Responden pada penelitian adalah 92 mahasiswa PSIK FKKMK UGM tahun pertama yang mengikuti ujian OSCE. Penilaian performa mahasiswa dilakukan menggunakan instrumen checklist mencuci tangan dan memakai sarung tangan oleh dua orang penguji. Hasil penelitian dianalisis menggunakan Kappa dan percent agreement (PA).Hasil: Checklist mencuci tangan memiliki nilai Kappa 0,146 (cukup buruk) dan PA 80,40% (dapat diterima). Checklist memakai sarung tangan memiliki nilai Kappa 0,228 (buruk) dan PA 78,20% (dapat diterima). Terdapat 14-unit checklist yang masuk dalam kategori Kappa tidak dapat diterima, namun PA dapat diterima (paradoks Kappa). Terdapat 11-unit checklist yang masuk dalam kategori Kappa dan PA tidak dapat diterima.Kesimpulan: Checklist keterampilan mencuci tangan dan memakai sarung tangan di PSIK FKKMK UGM belum memiliki interrater reliability yang baik dalam mengukur keterampilan mahasiswa. Checklist tersebut memerlukan perbaikan untuk menghasilkan reliabilitas baik demi kualitas pendidikan di Program Studi Ilmu Keperawatan FKKMK UGM yang lebih baik.]]>
