Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : jupiter

Deep Learning Framework for Automatic Tagging of Multimedia Content Ikna Awaliyani; Nur Aminudin; Dita Septasari; Ulfa Isni Kurnia
JUPITER (Jurnal Penelitian Ilmu dan Teknologi Komputer) Vol 18 No 1 (2026): Jurnal Penelitian Ilmu dan Teknologi Komputer (JUPITER)
Publisher : Teknik Komputer Politeknik Negeri Sriwijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.5281/zenodo.18168720

Abstract

Penandaan otomatis konten multimedia merupakan komponen penting dalam manajemen aset digital, rekomendasi konten, dan sistem pengambilan visual skala besar. Namun, kompleksitas konteks visual, variasi objek, dan karakteristik multi-label membuat tugas ini menantang untuk pendekatan konvensional. Studi ini mengusulkan kerangka kerja pembelajaran mendalam ujung ke ujung yang mengintegrasikan Vision Transformer (ViT) sebagai ekstraktor fitur utama dengan kepala klasifikasi multi-label adaptif, termasuk modul fusi multimoda opsional untuk memanfaatkan hubungan semantik antara gambar dan teks. Eksperimen dilakukan pada dataset skala besar seperti MS-COCO, NUS-WIDE, dan Open Images Dataset menggunakan strategi pelatihan termasuk augmentasi data, fine-tuning progresif, dan fungsi kehilangan adaptif. Model yang diusulkan mencapai peningkatan yang konsisten, mengungguli baseline CNN sebesar 4–6% dan arsitektur ViT murni sebesar 2–3%, dengan Presisi Rata-rata (mAP) rata-rata 0,78 dan skor F1 0,82. Integrasi multimoda semakin meningkatkan kinerja pada label abstrak seperti aktivitas, luar ruangan, dan acara. Temuan ini menunjukkan bahwa Vision Transformers, dikombinasikan dengan pembelajaran multimoda, secara signifikan meningkatkan akurasi dan kualitas semantik penandaan konten multimedia otomatis.
Co-Authors Abdullah Umar Faqih Al Ikhsani Abelian Saputri Adamu Abubakar Muhammad Adamu Abubakar Muhammad Adi Prasetia Nanda Afandi, Asep Afanto, Hendri Afnan Zalfa Salsabila A Afrianto, Rifki Agus Wantoro Ahmad Ahlun Nazar Alfazri Putra Pradana Alfina Alfina Andika, Tahta Herdian Andino Maseleno Aprilia, Fenny Arif Alexander Bastian Ariyanti, Septika Aviv Fitria Yulia Ayu Andini, Dwi Yana Bagus Wicaksono, Setepanus Bintoro, Panji Boris Brahmono Budi Usmanto Cahyadi, Septian Damayanti Abdul Karim, Dewi Desni Sagita, Yona Dikpride Despa Dimas Dita Septasari Dwi AD Putra Dwi Feriyanto Dwi Feriyanto Efendi, Dwi Marisa Eko Setiawan, Agustinus El Hanif, Azka Elita Yuni Setiyarini Etanaulia Marsim Fadzlan Thoriq Fahlul Rizki Fandi Ahmad Ferly Ardhi Ferly Ardhy Fiqih Satria Fitra Endi Fernanda, Fitra Endi Habib, Cahya Hasanah, Khuswatun Ida Ayu Putu Anggie Sinthiya Iin Triana Ikna Awaliyani Ilham Ubaidillah Inti Barokah Amaliah Irwan Susilo Khuswatun Hasanah Lukman Alfariz M. Islamahdi MARTHALENA, YENNY Mayang Indah Sari Mitha Franciska Muhammad Farhan Al Farisi Muhammad Kristiawan Muhammad Lathief Syaifussalam Muharni, Sita Mukaromah, Hafsah Mulyono, Andi Mutmainah Mutmainah Naufal Sinatria Naufal Sinatria Niken Yulia Fantika Ningsiah Nuafal Sinatria Nungsiyati . Nurul Hidayat Nurul Isti Fada Ockhy Jey Fhiter Wassalam Panji Bintoro Putra, Dwi AD Ramadhanti, Dinda Ramil Abbasov Ratnasari Ratnasari Ratnasari Ratnasari Rendy Yudha Pratama Rian Candra Pratama Rimanto, Rimanto Rini Wahyuni Rizka Dwi Yovita Rohmah, Nurbaiti Rustam Rustam Salman Alfarisi Salimu Salman Alfarisi Salimu Salsabila A, Afnan Zalfa Satria, Fiqih Seli Oktaviana Septika Yani Veronica Sevira Filensa Shima Asadi Sigit Andriyanto Sukamto, Anton Sumerti, Ela Susilo Setiawan Tahta Herdian Andika Tahta Herdian Andika Tahta Herdian Andika Taufiq Taufiq Tri Adi Nugroho Ulfa Isni Kurnia Vina Akmalia Wicaksono, Garda Arif Wina Safutri Yana Ayu Andini, Dwi Yani Veronica, Septika Yessiana Luthfia B Zalfa Salsabila A, Afnan Zulkifli Zulkifli Zulkifli