Menentukan rasa buah jeruk tanpa mencicipinya secara langsung masih menjadi tantangan nyata bagi petani dan pedagang Jeruk Medan hingga saat ini. Cara yang digunakan selama ini yaitu mencicipi langsung setiap buah, padahal cara ini merusak buah dan tidak bisa dilakukan untuk banyak buah dalam waktu yang sama. Penelitian ini menganalisis fitur warna dan tekstur permukaan kulit buah untuk mengklasifikasikan rasa Jeruk Medan manis, hambar, dan asam menggunakan metode Support Vector Machine (SVM). SVM dipilih karena kemampuannya yang terbukti efektif dalam menangani data dengan jumlah fitur yang banyak hasil dari ekstraksi citra, serta mampu menemukan batas pemisah terbaik antar kelas dibandingkan metode lain seperti K-Nearest Neighbor maupun Decision Tree. Sebanyak 496 foto buah dikumpulkan langsung dari lapangan yang terdiri dari tiga kelas: manis (183 foto), hambar (113 foto), dan asam (200 foto). Fitur warna diekstraksi dari ruang warna HSV dan LAB, sedangkan fitur tekstur diekstraksi menggunakan Gray Level Co-occurrence Matrix (GLCM). Dari pengujian lima konfigurasi fitur, konfigurasi HSV+LAB dipilih sebagai konfigurasi final karena menghasilkan akurasi 79,00% dengan waktu proses paling cepat. Kelas asam dikenali paling baik dengan F1-score 0,89, diikuti kelas manis 0,84, sementara kelas hambar memperoleh 0,47 karena warnanya berada di antara dua kelas lainnya. Hasil ini menunjukkan bahwa klasifikasi rasa jeruk berbasis citra berpotensi sebagai alat bantu seleksi buah non-destruktif, sehingga petani dan pedagang dapat menilai kualitas rasa secara cepat tanpa harus merusak buah.