PEMBUATAN LANSKAP FANTASI BERBASIS DIFFUSION MODELS DENGAN FINE-TUNING LOW-RANK ADAPTATION (LoRA) - Gholib, Tsabit; Mulyono, Sri (Jurnal Rekayasa Sistem Informasi dan Teknologi, 2025)
Penelitian ini bertujuan untuk mengembangkan model generatif berbasis diffusion models dalam menghasilkan gambar lanskap fantasi dari deskripsi teks. Metode penelitian yang digunakan meliputi studi literatur, pengumpulan dataset, preprocessing dataset, pelatihan model, serta pengujian dan evaluasi model. Studi literatur dilakukan untuk memahami konsep diffusion models, pemetaan teks ke gambar, serta teknik fine-tuning yang relevan. Pengumpulan dataset mencakup akuisisi gambar lanskap fantasi dari berbagai sumber daring, serta proses captioning untuk menghubungkan gambar dengan deskripsi teks. Dataset kemudian dibagi menjadi 80% untuk pelatihan dan 20% untuk pengujian. Tahap preprocessing dataset mencakup berbagai teknik augmentasi seperti resize, random resized crop, horizontal flip, color jitter, dan normalization untuk meningkatkan variasi serta kualitas data pelatihan. Model Stable Diffusion 2.1 digunakan sebagai dasar pengembangan, dengan fine-tuning menggunakan Low-Rank Adaptation (LoRA) untuk meningkatkan efisiensi komputasi dan adaptasi terhadap dataset spesifik. Evaluasi model dilakukan menggunakan metrik kuantitatif seperti CLIP-MMD dan FID, serta penilaian kualitatif berbasis analisis visual. Hasil penelitian menunjukkan bahwa model yang telah dilatih mampu menghasilkan gambar lanskap fantasi yang sesuai dengan deskripsi teks, dengan peningkatan akurasi dan detail visual dibandingkan model dasar. Teknik LoRA terbukti efektif dalam meningkatkan spesifikasi visual dengan efisiensi komputasi yang lebih baik. Simpulan, penelitian ini memberikan kontribusi dalam pengembangan model generatif yang lebih adaptif untuk aplikasi text-to-image, khususnya dalam pembuatan lanskap fantasi. Kata Kunci: Diffusion Models, Stable Diffusion, Fine-Tuning, Lora, Text-To-Image, Lanskap Fantasi