Jeruk merupakan salah satu buah yang sangat populer di kalangan masyarakat Indonesia karena memiliki rasa yang segar, enak, dan memiliki banyak manfaat bagi kesehatan. Kandungan vitamin C yang melimpah membuat buah ini banyak dijadikan sebagai suplemen kesehatan sehingga jeruk memiliki nilai komersial dan pangsa pasar yang besar. Untuk mendapatkan manfaat yang maksimal dari buah ini, diperlukan kualitas jeruk yang baik, dilihat dari segi rasa dan tingkat kematangan buah jeruk. Salah satu jenis jeruk yang populer adalah jeruk siam. Akan tetapi, dari segi rasa buah jeruk asam dan manis masih sulit untuk dibedakan jika hanya dilihat oleh mata. Oleh karena itu, pada penelitian ini diusulkan sistem klasifikasi rasa buah jeruk siam berdasarkan warna dan tekstur kulit menggunakan jaringan syaraf tiruan berbasis pengolahan citra digital. Pada penelitian ini, rasa jeruk dibagi ke dalam 2 kelas, yaitu manis dan asam. Metode yang diusulkan terdiri atas 7 tahapan utama yaitu tahap akuisisi citra, preprocessing, segmentasi menggunakan Otsu Thresholding, penghilangan noise citra biner menggunakan K-Means, operasi morfologi, ekstraksi fitur warna serta tekstur, dan klasifikasi menggunakan jaringan syaraf tiruan. Beberapa skenario pengujian dilakukan dan diperoleh skenario penggabungan fitur warna LAB dengan fitur tekstur contrast, correlation, energy dan homogeneity yang menghasilkan akurasi tertinggi. Adapun nilai akurasi, precision, dan recall yang diperoleh, yaitu 98,75%, 100%, dan 97,56%. Hal ini menunjukkan bahwa metode yang diusulkan memiliki kinerja yang baik dalam mengklasifikasian rasa buah jeruk ke dalam kelas manis atau asam.