Dalam dunia pendidikan saat ini, masih banyak guru yang belum melakukan analisis tingkat kualitas ketika membuat butir soal yang akan diberikan kepada peserta didik. Kurangnya pemahaman dan kebiasaan dalam penggunaan cara lama dalam menentukan kualitas butir soal membuat para guru lebih lama dalam proses pembuatan dan tidak ingin mengoperasikan software yang menunjang kegiatan analisis butir soal karena kesulitan. Oleh karena itu, tujuan penelitian ini adalah untuk melihat dan menjelaskan hasil analisis kualitas butir yang dilakukan siswa SMK kelas 11 pada mata pelajaran akuntansi perusahaan jasa, dagang, dan manufaktur menggunakan software Anates. Dalam penelitian ini menggunakan metode Research and Development dan teknik pengumpulannya dengan tes. Hasil penelitian menunjukkan bahwa dari instrumen penilaian yang dianalisis, dua soal telah memenuhi kriteria signifikan, enam soal dinyatakan cukup memadai, dan dua soal belum signifikan. Oleh karena itu, masih diperlukan perbaikan pada beberapa soal agar memenuhi kriteria penilaian yang layak. Alat penilaian dianggap layak untuk digunakan untuk mengevaluasi hasil belajar peserta didik serta dapat memenuhi karakteristik butir soal Higher Order Thinking Skills (HOTS). Ini karena alat penilaian ini dapat membedakan peserta didik berdasarkan kemampuan tinggi, sedang, dan rendah berdasarkan kualitas butir soal yang mereka jawab.