<![CDATA[Penyebaran informasi di media sosial yang sangat cepat meningkatkan risiko munculnya misinformasi dan rumor, sehingga diperlukan metode deteksi yang akurat dan efektif. Analisis sentimen multimodal merupakan pendekatan yang menggabungkan data teks dan gambar untuk memahami opini secara lebih komprehensif dibandingkan metode berbasis teks saja. Penelitian ini bertujuan membandingkan kinerja TF-IDF + Support Vector Machine (SVM), TOMBERT, dan Graph Neural Network (GNN) pada dataset Twitter15, serta menerapkan Explainable Artificial Intelligence (XAI) untuk meningkatkan interpretabilitas model. Hasil eksperimen menunjukkan bahwa GNN memperoleh akurasi tertinggi sebesar 88.04%, namun TOMBERT memberikan performa paling seimbang dengan akurasi 86.08% dan F1-Score sebesar 81.29%, yang menunjukkan kemampuannya dalam memahami hubungan antara teks dan gambar. GNN juga mampu meningkatkan deteksi kelas minoritas dengan Macro F1-Score sebesar 57.02% dan rumor F1-Score sebesar 20.51%. Sebaliknya, TF-IDF + SVM hanya mencapai akurasi sebesar 64.13%, yang menunjukkan keterbatasan dalam menangani data multimodal dan ketidakseimbangan kelas. Selain itu, implementasi XAI menggunakan GPT yang dikombinasikan dengan caption gambar dari BLIP mampu memberikan penjelasan yang lebih transparan terhadap prediksi model. Penelitian ini menyimpulkan bahwa pendekatan multimodal berbasis deep learning lebih efektif dibandingkan metode klasik, serta teknik optimasi yang diterapkan mampu meningkatkan performa deteksi pada kelas minoritas.]]>
Copyrights © 2026
