Sistem Deteksi Kehalalan Produk Makanan Kemasan Berbasis XAI dengan Integrasi Vision Model dan Web-Retrieval - Muhammad Daffa Raihan; Syarif Hidayat (AUTOMATA, 2026)
Verifikasi kehalalan produk kemasan menjadi tantangan yang banyak dialami konsumen di berbagai negara karena istilah bahan yang kompleks, perbedaan bahasa, dan beragamnya logo halal dari berbagai lembaga sertifikasi. Kondisi ini menunjukkan bahwa verifikasi halal merupakan kebutuhan luas yang belum memiliki solusi praktis dan dapat dipercaya. Penelitian ini mengevaluasi sebuah pipeline verifikasi halal yang mengintegrasikan GPT-5 Vision, OCR, web-retrieval, dan Explainable AI (XAI) untuk menghasilkan keputusan halal haram yang transparan dan dapat ditelusuri. Sistem mengekstraksi elemen visual kemasan, memperoleh komposisi bahan melalui pencarian web berlapis, dan menggabungkan seluruh bukti dalam proses reasoning. Evaluasi pada 100 produk menunjukkan performa tinggi dengan akurasi 93%, recall 100%, presisi 87,72%, dan spesifisitas 86%. Sistem juga mampu mengenali logo halal yang tampak sebagian, menilai istilah ambigu seperti bacon flavor secara hati-hati, serta mendeteksi produk haram berlogo tidak sah. Kesalahan yang muncul berupa false positive yang terutama disebabkan keterbatasan informasi dari web. Pendekatan multimodal ini menunjukkan potensi kuat sebagai alat bantu verifikasi halal yang berbasis bukti dan mudah dipahami tanpa menggantikan peran otoritas sertifikasi resmi.