Pipeline Otomasi Anotasi dan Captioning Citra Batik Berbasis DINOv2 dan Qwen2.5-VL dengan Mekanisme Class Injection - Fadhillah, Muhammad Dzaka Aufa; Yudistira, Novanto; Sari, Irawati Nurmala (Jurnal Pengembangan Teknologi dan Ilmu Komputer, 2026)
Mayoritas dataset citra batik publik hanya menyediakan label kelas tunggal tanpa deskripsi teks, sehingga membatasi dokumentasi digital warisan budaya secara komprehensif. Penelitian ini mengembangkan pipeline dua tahap yang mengintegrasikan DINOv2 sebagai pengklasifikasi motif dan Qwen2.5-VL sebagai generator caption batik. Tahap pertama menghasilkan 3.000 pseudo-caption untuk citra tanpa anotasi menggunakan Qwen2.5-VL zero-shot dengan mekanisme class injection dari struktur direktori. Data sintetis tersebut digabungkan dengan 346 citra beranotasi manual untuk fine-tuning Qwen2.5-VL menggunakan Low-Rank Adaptation (LoRA) dan kuantisasi 4-bit NF4. Tahap kedua menempatkan classifier DINOv2+LoRA di awal pipeline untuk menyuntikkan label kelas hasil prediksi ke dalam prompt saat inferensi. Hasil pengujian menunjukkan DINOv2+LoRA mencapai akurasi 96,10%, sementara class injection menaikkan Motif Mention Rate dari 0% menjadi 90,67% dan BLEU-4 dari 0,2004 menjadi 0,2698. Model fine-tuned tanpa class injection meraih skor leksikal tertinggi, namun terindikasi stylistic overfitting dengan CLIPScore terendah (0,3233). Kuantisasi NF4 juga menurunkan penggunaan VRAM dari 9,65 GB menjadi 5,49 GB. Temuan ini membuktikan class injection efektif menekan halusinasi VLM pada domain budaya spesifik.