<![CDATA[Background: Vital signs examination (VSE) is one of the key competencies that every nurse should possess. In reality, many VSE results are inaccurate, leading to less precise treatment decisions for patients. One academic effort to enhance student skills is through Objective Structured Clinical Examinations (OSCE), which are evaluated using a checklist instrument. The reliability of an instrument indicates internal validity and the certainty that the obtained measurement results are representative and stable. To this date, no reliability test has been conducted on the OSCE checklist instrument for VSE used in the Nursing Science Study Program at Universitas Gadjah Mada (PSIK FK-KMK UGM). Object: To measure the reliability of the VSE assessment checklist in PSIK FK-KMK UGM using the interrater reliability method. Method: This study is quantitative descriptive research with a cross-sectional design. The sample consists of 92 items of OSCE scores from first-year students in PSIK FK-KMK UGM, assessed by 2 raters, namely the examiner lecturer and a master’s student in Nursing Science at UGM. The assessment was performed once using the VSE skills checklist. The assessment results were then analyzed using the Kappa coefficient and Percent Agreement (PA) to evaluate interrater reliability. Acceptable values in this study are higher than 0,41 for the Kappa coefficient and higher than 80% for PA. Result: Overall, the interrater reliability test for the VSE skills checklist showed a Kappa value of 0,427 and a PA of 82,60%. Conclusion: Overall, the PA and Kappa values for the VSE checklist are acceptable, with the Kappa value falling into the moderate category. Improvement is needed for some items to enhance the reliability of the checklist.ABSTRAKLatar belakang: Pemeriksaan tanda-tanda vital (TTV) merupakan salah satu kompetensi utama yang harus dimiliki oleh setiap perawat. Kenyataannya banyak hasil pemeriksaan TTV yang tidak akurat sehingga hasil keputusan pengobatan pada pasien menjadi kurang tepat. Salah satu upaya akademisi untuk meningkatkan ketrampilan mahasiswa adalah dengan melalui Objective Structured Clinical Examinations (OSCE) yang dievaluasi menggunakan instrument checklist. Reliabilitas dari suatu instrumen menunjukkan validitas internal dan kepastian hasil pengukuran yang diperoleh bersifat representatif dan stabil. Sampai saat ini belum dilakukan uji reabilitas terhadap instrumen checklist OSCE pemeriksaan TTV yang dipakai di Program Studi Ilmu Keperawatan FK-KMK UGM (PSIK FK-KMK UGM). Tujuan: Untuk mengukur nilai reliabilitas dari checklist penilaian pemeriksaan TTV di PSIK FK-KMK UGM dengan menggunakan metode interrater rebility. Metode: Penelitian ini merupakan penelitian deskriptif kuantitatif dengan rancangan cross-sectional. Sampel terdiri dari 92 item nilai OSCE mahasiswa tahun pertama di PSIK FK-KMK UGM yang diambil oleh 2 penilai, yaitu dosen penguji dan mahasiswa S2 Ilmu Keperawatan UGM. Penilaian dilakukan sebanyak satu kali dengan menggunakan checklist keterampilan TTV. Hasil penilaian selanjutnya dianalisis menggunakan koefisien Kappa dan Percent Agreement (PA) untuk menilai interrater reability. Nilai yang dapat diterima dalam penelitian ini adalah lebih tinggi dari 0,41 untuk koefisien Kappa dan lebih tinggi dari 80% untuk PA. Hasil: Secara keaseluruhan, uji interrater rebility checklist keterampilan pemeriksaan TTV menunjukkan nilai Kappa sebesar 0,427 dan PA 62,60%. Kesimpulan: Secara keseluruhan PA dan nilai Kappa ceklist pemeriksaan tanda –tanda vital dapat diterima, dengan nilai Kappa berada dalam kategori moderat. Perlu dilakukan perbaikan pada beberapa item untuk meningkatkan reliabilitas checklist tersebut. ]]>
