Implementasi Multimodal Convolutional Neural Network dan Extreme Gradient Boosting untuk Grading Buah Jambu Kristal Skala Industri - Sinaga, Stragel Alandia (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2024)
Buah jambu kristal merupakan salah satu komoditas buah-buahan yang populer dibudidayakan oleh sektor pertanian di Indonesia. Jambu kristal mem-iliki kandungan gizi atau nutrisi yang berlimpah sehingga buah ini dinilai sangat baik untuk dimanfaatkan dan perlu ditingkatkan kualitas produksinya oleh para petani di Indonesia. Upaya peningkatan pemanfaatan jambu kristal dapat di-capai dengan mengoptimalkan proses produksinya. Pengoptimalan ini dapat dicapai dengan menerapkan otomatisasi pada salah satu proses budidaya yaitu tahapan grading kualitas buah. Tahapan grading yang biasa dilakukan oleh petani dapat diotomatisasi dengan pendekatan computer vision menggunakan algoritma pemrosesan gambar yang multimodal, lebih spesifiknya multimodal Convolutional Neural Network dan Extreme Gradient Boosting. Metode ini akan membuat proses grading otomatis dengan mempelajari masukan data berupa citra buah jambu dari perspektif samping. Percobaan penggabungan dua mo-dalitas algoritma pembelajaran mesin menjadi multimodal CNN dan XGBoost berbasis XGBoost ini merupakan usaha untuk menangani konteks grading buah agar menjadi lebih luas dan lengkap dalam menghasilkan prediksi kualitas buah jambu kristal. Model CNN dilatih dengan data citra samping buah, Model XGBoost dilatih dengan data luas permukaan buah, dan model Multimodal di-latih menggunakan hasil dari prediksi kedua model sebelumnya untuk menemukan pola pada data yang ada. Model dengan kinerja terbaik adalah model multimodal berbasis XGBoost dengan penerapan jenis booster yaitu Gra-dient Boost Tree, learning rate sebesar 0.01, kedalaman tree maksimal sebesar 5, dan minimal bobot tree leaf sebesar 3. Model ini memiliki nilai akurasi sebe-sar 0.92, ROC-AUC sebesar 0.99, dan skor F1 sebesar 0.93.