DETEKSI TIMPA GAMBAR DENGAN TEKS MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORK DAN OPTICAL CHARACTER RECOGNITION - Muhammad Alif Syafan; Fahrim Irhamna Rachman; Darniati Darniati (Yayasan Nuraini Ibrahim Mandiri, 2026)
Penyebaran disinformasi melalui manipulasi timpa gambar dengan teks semakin marak dan sulit dideteksi karena artefak visualnya yang sangat halus dan rentan tersamarkan oleh kompresi citra. Penelitian ini mengusulkan arsitektur multi-stream network multimodal untuk mendeteksi manipulasi tersebut. Kebaruan (novelty) dan kontribusi utama penelitian ini terletak pada integrasi adaptif antara analisis anomali visual tingkat piksel dan anomali tipografi menggunakan gated attention mechanism. Metode usulan menggabungkan Convolutional Neural Network (CNN) berarsitektur EfficientNet-B3 yang dipertajam Sobel filter sebagai pengekstraksi fitur visual, dengan Optical Character Recognition (OCR) berbasis EasyOCR sebagai pengekstraksi fitur statistik teks. Evaluasi terhadap dataset Real Text Manipulation (RTM) membuktikan bahwa model multimodal usulan lebih unggul dibandingkan model CNN tunggal. Pada ambang batas optimal 0,4961, model mencapai akurasi 73,18% dan F1-score 0,7959. Integrasi OCR terbukti sangat efektif menambal kelemahan deteksi visual murni dengan lonjakan tingkat recall mencapai 79,05%. Meskipun pengujian generalisasi pada dataset media sosial dan generative AI masih mengalami penurunan akibat domain gap kompresi ekstrem, integrasi CNN dan OCR secara signifikan berkontribusi meningkatkan sensitivitas deteksi manipulasi teks untuk keperluan forensik digital