Keterampilan mengevaluasi dan merancang penyelidikan ilmiah adalah salah satu aspek kompetensi literasi sains yang harus di kuasai peserta didik di abad ke-21 saat ini. Namun, kemampuan literasi sains peserta didik Indonesia berdasarkan hasil tes PISA selalu berada di urutan 10 terendah. Salah satu penyebabnya adalah hanya terdapat sedikit sekali soal setara PISA dengan konten terkini di sekolah sehingga peserta didik tidak terbiasa dalam mengerjakan soal-soal literasi sains yang setara dengan PISA. Tujuan dari penelitian ini adalah untuk menganalisis karakteristik butir soal pada instrumen keterampilan mengevaluasi dan merancang penyelidikan ilmiah konten pandemi COVID-19 yang telah dikembangkan. Penelitian ini merupakan penelitian deskriptif kuantitatif. Instrumen yang terdiri dari 90 soal pilihan ganda (3 paralel) yang sudah divalidasi oleh ahli dan di uji coba kepada 96 peserta didik dari satu SMA negeri dan dua SMA swasta di kota Bandung yang memiliki rata-rata nilai UN tahun 2018 dengan kategori cukup, dan kurang. Pemilihan sekolah sampel dilakukan dengan stratified random sampling. Analisis data dilakukan dengan pemodelan Rasch dibantu dengan menggunakan program aplikasi Winstep versi 3.73. Hasil analisis menunjukkan bahwa soal memiliki tingkat kesukaran sangat sulit sebanyak 8,9%, sulit sebanyak 32,2%, mudah sebanyak 52,2% dan sangat mudah sebanyak 5,6%. Persentase soal diterima sebanyak 95,7%, direvisi sebanyak 4,3%, dan ditolak sebanyak 0%. Analisis pada soal linking menunjukkan soal tiga paralel dinyatakan relatif setara. Memiliki daya beda cukup (2,05) dan nilai alfa cronbach cukup (0,68). Sehingga dapat disimpulkan bahwa instrumen tersebut sudah baik, dan dapat menjadi rekomendasi untuk digunakan di sekolah atau penelitian selanjutnya.