Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Vol 10 No 7 (2026): Juli 2026

Pipeline Otomasi Anotasi dan Captioning Citra Batik Berbasis DINOv2 dan Qwen2.5-VL dengan Mekanisme Class Injection

Fadhillah, Muhammad Dzaka Aufa (Unknown)
Yudistira, Novanto (Unknown)
Sari, Irawati Nurmala (Unknown)



Article Info

Publish Date
26 Aug 2026

Abstract

Mayoritas dataset citra batik publik hanya menyediakan label kelas tunggal tanpa deskripsi teks, sehingga membatasi dokumentasi digital warisan budaya secara komprehensif. Penelitian ini mengembangkan pipeline dua tahap yang mengintegrasikan DINOv2 sebagai pengklasifikasi motif dan Qwen2.5-VL sebagai generator caption batik. Tahap pertama menghasilkan 3.000 pseudo-caption untuk citra tanpa anotasi menggunakan Qwen2.5-VL zero-shot dengan mekanisme class injection dari struktur direktori. Data sintetis tersebut digabungkan dengan 346 citra beranotasi manual untuk fine-tuning Qwen2.5-VL menggunakan Low-Rank Adaptation (LoRA) dan kuantisasi 4-bit NF4. Tahap kedua menempatkan classifier DINOv2+LoRA di awal pipeline untuk menyuntikkan label kelas hasil prediksi ke dalam prompt saat inferensi. Hasil pengujian menunjukkan DINOv2+LoRA mencapai akurasi 96,10%, sementara class injection menaikkan Motif Mention Rate dari 0% menjadi 90,67% dan BLEU-4 dari 0,2004 menjadi 0,2698. Model fine-tuned tanpa class injection meraih skor leksikal tertinggi, namun terindikasi stylistic overfitting dengan CLIPScore terendah (0,3233). Kuantisasi NF4 juga menurunkan penggunaan VRAM dari 9,65 GB menjadi 5,49 GB. Temuan ini membuktikan class injection efektif menekan halusinasi VLM pada domain budaya spesifik.

Copyrights © 2026






Journal Info

Abbrev

j-ptiik

Publisher

Subject

Computer Science & IT Control & Systems Engineering Education Electrical & Electronics Engineering Engineering

Description

Jurnal Pengembangan Teknlogi Informasi dan Ilmu Komputer (J-PTIIK) Universitas Brawijaya merupakan jurnal keilmuan dibidang komputer yang memuat tulisan ilmiah hasil dari penelitian mahasiswa-mahasiswa Fakultas Ilmu Komputer Universitas Brawijaya. Jurnal ini diharapkan dapat mengembangkan penelitian ...