Ekstraksi informasi kartu identitas menggunakan arsitektur multimodal learning berbasis data sintetis

Muhammad Nashiruddin (S1 Teknologi Informasi, Universitas Muhammadiyah Klaten)
Fiusyam Dhaza Noor Praditya (S1 Teknologi Informasi, Universitas Muhammadiyah Klaten)
Agiel faiz Mufazzal (S1 Teknologi Informasi, Universitas Muhammadiyah Klaten)
Ardiansyah Ardiansyah (S1 Teknologi Informasi, Universitas Muhammadiyah Klaten)

Journal of Informatics, Intelligent Technology, Cybersecurity, and Software (JIITeCS)
Vol. 1 No. 2 (2026)

Studi ini menyarankan sistem ekstraksi informasi Kartu Tanda Penduduk (KTP) berbasis pipeline yang menggabungkan data sintetis, praproses citra, pemodelan multimodal, dan OCR. Dataset sintetis digunakan untuk mengatasi keterbatasan akses data nyata yang bersifat sensitif, dengan menghasilkan 1100 citra KTP dalam 11 variasi kondisi seperti pencahayaan, blur, dan distorsi. Tahap praproses meliputi transformasi perspektif, grayscale, adaptive thresholding, dan denoising. Tiga metode berbeda digunakan untuk menilai OCR: grayscale, binerisasi, dan bounding box-guided OCR. Hasil menunjukkan bahwa metode berbasis bounding box memiliki akurasi pembacaan hingga 100%, sementara metode berbasis praproses citra memiliki kinerja yang lebih buruk. Selain itu, ekstraksi entitas berbasis multimodal menggunakan model LayoutXLM dengan menggunakan teks, posisi spasial, dan fitur visual. Semua atribut menerima nilai F1-score 1,00 dari evaluasi.