Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Jupiter

Deep Learning Framework for Automatic Tagging of Multimedia Content Awaliyani, Ikna; Aminudin, Nur; Septasari, Dita; Kurnia, Ulfa Isni
JUPITER (Jurnal Penelitian Ilmu dan Teknologi Komputer) Vol 18 No 1 (2026): Jurnal Penelitian Ilmu dan Teknologi Komputer (JUPITER)
Publisher : Teknik Komputer Politeknik Negeri Sriwijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.5281/zenodo.18168720

Abstract

Penandaan otomatis konten multimedia merupakan komponen penting dalam manajemen aset digital, rekomendasi konten, dan sistem pengambilan visual skala besar. Namun, kompleksitas konteks visual, variasi objek, dan karakteristik multi-label membuat tugas ini menantang untuk pendekatan konvensional. Studi ini mengusulkan kerangka kerja pembelajaran mendalam ujung ke ujung yang mengintegrasikan Vision Transformer (ViT) sebagai ekstraktor fitur utama dengan kepala klasifikasi multi-label adaptif, termasuk modul fusi multimoda opsional untuk memanfaatkan hubungan semantik antara gambar dan teks. Eksperimen dilakukan pada dataset skala besar seperti MS-COCO, NUS-WIDE, dan Open Images Dataset menggunakan strategi pelatihan termasuk augmentasi data, fine-tuning progresif, dan fungsi kehilangan adaptif. Model yang diusulkan mencapai peningkatan yang konsisten, mengungguli baseline CNN sebesar 4–6% dan arsitektur ViT murni sebesar 2–3%, dengan Presisi Rata-rata (mAP) rata-rata 0,78 dan skor F1 0,82. Integrasi multimoda semakin meningkatkan kinerja pada label abstrak seperti aktivitas, luar ruangan, dan acara. Temuan ini menunjukkan bahwa Vision Transformers, dikombinasikan dengan pembelajaran multimoda, secara signifikan meningkatkan akurasi dan kualitas semantik penandaan konten multimedia otomatis.
Co-Authors -, Nungsiyati Abdullah Umar Faqih Al Ikhsani Adi Prasetia Nanda Afandi, Asep Afanto, Hendri Afnan Zalfa Salsabila A Afrianto, Rifki Agus Wantoro Agustinus Eko Setiawan Ahmad Ahlun Nazar Al Farisi, Muhammad Farhan Alfina Alfina Andika, Tahta Herdian Andino Maseleno Aprilia, Fenny Aviv Fitria Yulia Ayu Andini, Dwi Yana Bagus Wicaksono, Setepanus Bastian, Arif Alexander Bintoro, Panji Boris Brahmono Cahyadi, Septian Damayanti Abdul Karim, Dewi Desni Sagita, Yona Dikpride Despa Dita Septasari Dwi AD Putra Dwi Feriyanto Dwi Yana Ayu Andini Dwi Yana Ayu Andini Efendi, Dwi Marisa Eko Setiawan, Agustinus El Hanif, Azka Fadzlan Thoriq Fahlul Rizki Fandi Ahmad Ferly Ardhi Ferly Ardhy Fiqih Satria Fitra Endi Fernanda, Fitra Endi Habib, Cahya Hasanah, Khuswatun Ida Ayu Puspita Sari Ikna Awaliyani Ilham Ubaidillah Inti Barokah Amaliah Irwan Susilo Khuswatun Hasanah Luthfia B, Yessiana M. Islamahdi Marsim, Etanaulia MARTHALENA, YENNY Mayang Indah Sari Mitha Franciska Muhammad Kristiawan Muhammad, Adamu Abubakar Muharni, Sita Mukaromah, Hafsah Mutmainah Mutmainah Naufal Sinatria Nugroho, Tri Adi Nungsiyati Nungsiyati Nurul Hidayat Nurul Isti Fada Ockhy Jey Fhiter Wassalam Pradana, Alfazri Putra Putra, Dwi AD Ramadhanti, Dinda Ratnasari Ratnasari Rendy Yudha Pratama Rian Candra Pratama Rimanto, Rimanto Rini Wahyuni Rizki, Fahlul Rohmah, Nurbaiti Rustam Rustam Salman Alfarisi Salimu Salman Alfarisi Salimu Salsabila A, Afnan Zalfa Satria, Fiqih Septika Yani Veronica Setiawan, Susilo Setiyarini, Elita Yuni Sigit Andriyanto Sukamto, Anton Sumerti, Ela Tahta Herdian Andika Taufik Rahman Taufiq Taufiq Ulfa Isni Kurnia Usmanto, Budi Wicaksono, Garda Arif Wina Safutri Yani Veronica, Septika Yovita, Rizka Dwi Zalfa Salsabila A, Afnan Zulkifli Zulkifli Zulkifli