Pengembangan Multimodal Convolutional Neural Network untuk Grading Buah Jambu Kristal dengan Dua Perspektif Citra - Asghany, Yusrian; Perdana, Rizal Setya; Setiawan, Budi Darma (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2024)
Indonesia merupakan negara dengan sektor pertanian yang memiliki potensi besar, salah satu produk unggulannya adalah buah-buahan. Terdapat beberapa komoditas buah-buahan di Indonesia yang belum mendapatkan perhatian yang seharusnya, contohnya adalah buah jambu kristal. Upaya peningkatan pemanfaatan jambu kristal dapat dicapai dengan mengoptimalkan proses produksinya. Pengoptimalan ini dapat dicapai dengan menerapkan otomatisasi pada berbagai tahap, dan tahapan grading menjadi salah satu aspek yang sangat menguntungkan. Proses grading dapat diotomatisasi dengan pendekatan computer vision, lebih spesifik Multimodal Convolutional Neural Network (CNN). Pendekatan ini melakukan grading buah jambu kristal dengan masukan citra atas dan citra samping buah. Pendekatan CNN biasa tidak dapat menerima lebih dari satu modalitas sehingga penciri kualitas buah yang diperoleh lebih terbatas dan sangat mungkin untuk tidak mencukupi untuk grading dengan benar. Penelitian dilakukan dengan membangun model Multimodal CNN yang dapat menerima dua macam citra tadi dan menghasilkan prediksi kualitas buah jambu kristal. Model dilatih dengan data pasangan citra atas dan citra samping buah jambu kristal yang sudah melalui pemrosesan awal. Model dengan kinerja terbaik didapatkan dengan penerapan optimizer Adam tanpa scheduler dan learning rate awal sebesar 0.001 pada proses pelatihannya terhadap data yang mendapatkan pemrosesan awal secara lengkap. Model ini mendapatkan nilai akurasi 0.95 dan F1 score 0.95.