Klasifikasi tingkat kesegaran buah apel, pisang, dan jeruk secara manual oleh manusia memiliki beberapa kelemahan diantaranya keberagaman persepsi antar individu dalam menentukan kesegaran buah apel, pisang, dan jeruk serta kurangnya konsistensi dalam hal kinerja yang dikarenakan faktor kelelahan. Untuk mengatasi masalah ini, peneliti membuat sistem berbasis komputer yang dapat mengenali tingkat kesegaran buah secara konsisten dibandingkan dengan manusia. Dalam penerapan sistem ini menggunakan aplikasi MATLAB yang melibatkan beberapa tahapan mulai dari pengambilan citra, transformasi RGB ke HSI, klasifikasi dengan algoritma K-Nearest Neighbor yang menghasilkan nilai segar dan busuk. Hasil pengujian yang dilakukan telah diperoleh persentasi akurasi sebesar 100% dari 60 kali percobaan dengan kondisi buah yang berbeda.