<![CDATA[Penyebaran disinformasi melalui manipulasi timpa gambar dengan teks semakin marak dan sulit dideteksi karena artefak visualnya yang sangat halus dan rentan tersamarkan oleh kompresi citra. Penelitian ini mengusulkan arsitektur multi-stream network multimodal untuk mendeteksi manipulasi tersebut. Kebaruan (novelty) dan kontribusi utama penelitian ini terletak pada integrasi adaptif antara analisis anomali visual tingkat piksel dan anomali tipografi menggunakan gated attention mechanism. Metode usulan menggabungkan Convolutional Neural Network (CNN) berarsitektur EfficientNet-B3 yang dipertajam Sobel filter sebagai pengekstraksi fitur visual, dengan Optical Character Recognition (OCR) berbasis EasyOCR sebagai pengekstraksi fitur statistik teks. Evaluasi terhadap dataset Real Text Manipulation (RTM) membuktikan bahwa model multimodal usulan lebih unggul dibandingkan model CNN tunggal. Pada ambang batas optimal 0,4961, model mencapai akurasi 73,18% dan F1-score 0,7959. Integrasi OCR terbukti sangat efektif menambal kelemahan deteksi visual murni dengan lonjakan tingkat recall mencapai 79,05%. Meskipun pengujian generalisasi pada dataset media sosial dan generative AI masih mengalami penurunan akibat domain gap kompresi ekstrem, integrasi CNN dan OCR secara signifikan berkontribusi meningkatkan sensitivitas deteksi manipulasi teks untuk keperluan forensik digital]]>
Copyrights © 2026
