Indonesia merupakan negara tropis dengan keanekaragaman buah yang sangat tinggi, baik dari segi jenis maupun warna. Tantangan utama dalam klasifikasi buah secara otomatis terletak pada kompleksitas pengenalan atribut ganda, seperti jenis dan warna, secara simultan di tengah variasi kondisi nyata seperti pencahayaan, latar belakang, dan sudut pandang gambar. Penelitian ini bertujuan untuk mengembangkan model klasifikasi multi-label buah menggunakan arsitektur Convolutional Neural Network (CNN) yang dilengkapi encoder ResNet-50 guna mengenali jenis dan warna buah secara bersamaan dengan tingkat akurasi dan generalisasi yang tinggi. Metode yang digunakan melibatkan pelatihan model pada dataset Fruit-360 yang berskala besar dan memiliki keragaman tinggi, serta penerapan teknik n-fold cross-validation untuk meningkatkan validitas hasil dan mengurangi risiko overfitting. Hasil penelitian menunjukkan bahwa model dengan augmentasi data mencapai akurasi validasi hingga 97%, dengan precision sebesar 98,20% dan recall 97,61%, yang membuktikan efektivitas pendekatan multi-label dalam klasifikasi atribut visual buah secara simultan.