Bridging Controlled Validation and Field Performance: Smartphone-Enabled YOLOv5–ANN for Visual Maturity Classification of Monthong Durian - Abryandoko, Eko Wahyu; Ashari, Faisal; Bimananda, Ikhwan Sifa (Department of Agro-industrial Technology, University of Brawijaya, 2026)
AbstractAssessment of the ripeness and quality of Durio zibethinus 'Monthong' commonly relies on human experience, making harvesting and sorting susceptible to subjectivity, lighting conditions, observation angles, and differences in interpreting external fruit characteristics. Although nondestructive visual methods have shown high performance under controlled conditions, evidence of smartphone-based applications in field environments remains limited, particularly for spiny fruits with complex surface morphology. This study developed a hybrid YOLOv5–ANN framework to classify the visual ripeness of durian as a proxy for sweetness, where sweet and unsweet labels represent visual ripeness rather than direct sugar-content measurements. A total of 154 smartphone images were processed through data cleaning, resizing, normalization, augmentation, and segmentation before analysis using YOLOv5 for object localization and feature extraction and ANN for binary classification. The model was integrated into a web/smartphone inference system and evaluated using accuracy, precision, recall, and F1-score. Under controlled conditions, the model achieved 92.70% accuracy, whereas smartphone implementation in field conditions achieved 67.50% accuracy with an inference time of 83 ms. Performance declined due to variations in lighting, background, viewing angle, distance, focus, fruit position, and visual similarity. These results demonstrate the potential of the system as a rapid, nondestructive initial sorting tool while highlighting the need to improve field generalization.Keywords: initial sorting, Monthong durian, smartphone inference, visual maturity, YOLOv5–ANN AbstrakPenilaian kematangan dan kualitas durian Monthong bergantung pada pengalaman manusia sehingga hasil panen dan sortasi rentan berubah akibat subjektivitas, variasi pencahayaan, sudut pengamatan, dan perbedaan penafsiran ciri eksternal buah. Pendekatan visual nondestruktif menunjukkan performa tinggi dalam lingkungan terkontrol, sedangkan bukti kinerjanya melalui smartphone pada kondisi lapang masih terbatas, terutama untuk buah berduri dengan morfologi permukaan kompleks. Penelitian ini mengembangkan kerangka hibrida YOLOv5–ANN untuk mengklasifikasikan kematangan visual durian sebagai proksi kemanisan, sedangkan label manis dan tidak manis diperlakukan sebagai proksi yang berkaitan dengan kematangan visual, bukan pengukuran langsung kadar gula. Pembersihan, perubahan ukuran, normalisasi, augmentasi, dan pembagian data dilakukan pada 154 citra smartphone sebelum diproses melalui YOLOv5 sebagai pelokalisasi objek sekaligus ekstraktor ciri dan ANN sebagai pengklasifikasi biner. Model kemudian diintegrasikan ke sistem inferensi web/smartphone dan dievaluasi menggunakan akurasi, presisi, recall, dan F1-score. Evaluasi terkontrol menghasilkan akurasi 92,70%, sedangkan penerapan smartphone mencapai 67,50% dengan waktu inferensi 83 ms. Penurunan performa terjadi saat model menghadapi variasi pencahayaan, latar, sudut, jarak, fokus, posisi buah, dan kemiripan visual antarkelas. Temuan ini menunjukkan potensi sistem sebagai alat bantu sortasi awal yang cepat dan tidak merusak, sekaligus memperlihatkan batas translasi model dari data terkontrol menuju penggunaan nyata dan perlu penguatan generalisasi lapang.Kata kunci: durian Monthong, inferensi smartphone, kematangan visual, sortasi awal, YOLOv5–ANN