Optimasi LayoutLMv3 untuk DocVQA pada Tabel Statistik Melalui Fine-Tuning dan Semantic Mapping: Optimization of LayoutLMv3 for DocVQA on Statistical Tables via Fine-Tuning and Semantic Mapping

D. Achmad Ansari A. (Universitas Handayani Makassar)
Hazriani Hazriani (Universitas Handayani Makassar)
Yuyun Yuyun (Badan Riset dan Inovasi Nasional (BRIN))

Malcom: Indonesian Journal of Machine Learning and Computer Science
Vol. 6 No. 3 (2026): MALCOM July 2026

Penelitian ini mengoptimalkan model LayoutLMv3 untuk tugas Document Visual Question Answering (DocVQA) pada tabel statistik melalui kombinasi Continual Fine-tuning (CFT) yang mengintegrasikan normalisasi koordinat 2D dan patch embedding visual, serta lapisan logika Semantic Similarity Mapping (SSM) untuk menangani variasi pertanyaan. Dataset mandiri dibangun dari 398 gambar tabel publikasi BPS "Kabupaten Pinrang Dalam Angka 2025" dengan 19.900 pasangan QA. Hasil evaluasi menunjukkan Training Loss turun dari 3,72 menjadi 0,63, ROUGE-1 mencapai 74,06%, dan akurasi human validation  meningkat dari 0% (zero-shot) menjadi 41% (CFT) dan 51% (CFT+SSM). Akurasi tertinggi 100% dicapai pada tabel dengan header tiga level. Pendekatan multimodal ini efektif meningkatkan pemahaman struktur tabel statistik, namun generalisasi pada tabel kompleks masih terbatas oleh dataset.