Article Per Year (5 Year)
p-Index From 2021 - 2026
0.23
P-Index
This Author published in this journals
All Journal Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Fadhillah, Muhammad Dzaka Aufa
Unknown Affiliation
Computer Science & IT Control & Systems Engineering Education Electrical & Electronics Engineering Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Pipeline Otomasi Anotasi dan Captioning Citra Batik Berbasis DINOv2 dan Qwen2.5-VL dengan Mekanisme Class Injection Fadhillah, Muhammad Dzaka Aufa; Yudistira, Novanto; Sari, Irawati Nurmala
Jurnal Pengembangan Teknologi dan Ilmu Komputer Vol 10 No 7 (2026): Juli 2026
Publisher : Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Mayoritas dataset citra batik publik hanya menyediakan label kelas tunggal tanpa deskripsi teks, sehingga membatasi dokumentasi digital warisan budaya secara komprehensif. Penelitian ini mengembangkan pipeline dua tahap yang mengintegrasikan DINOv2 sebagai pengklasifikasi motif dan Qwen2.5-VL sebagai generator caption batik. Tahap pertama menghasilkan 3.000 pseudo-caption untuk citra tanpa anotasi menggunakan Qwen2.5-VL zero-shot dengan mekanisme class injection dari struktur direktori. Data sintetis tersebut digabungkan dengan 346 citra beranotasi manual untuk fine-tuning Qwen2.5-VL menggunakan Low-Rank Adaptation (LoRA) dan kuantisasi 4-bit NF4. Tahap kedua menempatkan classifier DINOv2+LoRA di awal pipeline untuk menyuntikkan label kelas hasil prediksi ke dalam prompt saat inferensi. Hasil pengujian menunjukkan DINOv2+LoRA mencapai akurasi 96,10%, sementara class injection menaikkan Motif Mention Rate dari 0% menjadi 90,67% dan BLEU-4 dari 0,2004 menjadi 0,2698. Model fine-tuned tanpa class injection meraih skor leksikal tertinggi, namun terindikasi stylistic overfitting dengan CLIPScore terendah (0,3233). Kuantisasi NF4 juga menurunkan penggunaan VRAM dari 9,65 GB menjadi 5,49 GB. Temuan ini membuktikan class injection efektif menekan halusinasi VLM pada domain budaya spesifik.
Co-Authors Novanto Yudistira Sari, Irawati Nurmala