Intelligent Document Processing Berbasis OCR + Transformers dan CNN untuk Verifikasi Dokumen Bantuan Pangan - Santoso, David Bagas; Fachrie, Muhammad (STMIK Banjarbaru, 2025)
The rice assistance program is a government initiative to alleviate poverty by distributing rice to low-income households. This study aims to design and implement an Intelligent Document Processing system based on Convolutional Neural Networks (CNN) and hybrid Optical Character Recognition (OCR) to facilitate the verification of social assistance documents. The system integrates the LayoutLMv3 model for text entity extraction and a ResNet-18 CNN for signature-box classification, supported by conventional OCR and TrOCR for challenging text regions. The research methodology covers system design and model development. Experimental results show that the system can successfully convert PDF documents into images and accurately recognize key entities such as names and national ID numbers using LayoutLMv3 (validation accuracy 96.78%). Although ResNet-18 achieves a validation accuracy of 99.04%, it remains biased toward majority classes and is not yet reliable for verification decisions. The proposed system has the potential to accelerate and standardize document verification, with future work focusing on dataset rebalancing and improving the signature classification model. Keywords: LayoutLMv3; ResNet-18; Optical Character Recognition; TrOCR AbstrakProgram bantuan pangan beras merupakan upaya pemerintah dalam menanggulangi kemiskinan melalui distribusi beras kepada masyarakat kurang mampu. Penelitian ini bertujuan merancang dan mengimplementasikan Intelligent Document Processing berbasis Convolutional Neural Network (CNN) dan OCR hibrida untuk mempermudah proses verifikasi dokumen bantuan pangan. Sistem ini mengintegrasikan model machine learning LayoutLMv3 untuk ekstraksi entitas teks serta CNN ResNet-18 untuk klasifikasi tanda tangan, dengan dukungan Optical Character Recognition (OCR) dan TrOCR. Metode penelitian mencakup perancangan sistem dan pengembangan perangkat. Hasil pengujian menunjukkan bahwa sistem mampu mengekstraksi dokumen PDF menjadi citra, mengenali entitas seperti nama dan NIK dengan akurasi tinggi menggunakan LayoutLMv3 (val_accuracy 96,78%), serta mengklasifikasikan kotak tanda tangan dengan ResNet-18 (val_accuracy 99,04%). Namun, ResNet-18 masih bias terhadap kelas mayoritas sehingga belum dapat dianggap andal untuk keputusan verifikasi. Sistem yang diusulkan berpotensi mempercepat pemeriksaan dokumen bantuan pangan, sementara pengembangan lanjut difokuskan pada penyeimbangan data dan penyempurnaan model klasifikasi tanda tangan.