Implementasi Arsitektur Transformer pada Image Captioning dengan Bahasa Indonesia

Umar Abdul Aziz Al-Faruq (Universitas Islam Indonesia)
Dhomas Hatta Fudholi (Universitas Islam Indonesia)

Automata
Vol. 2 No. 2 (2021)

Abstract—Penelitian image captioning untuk menghasilkan deskripsi yang baik pada gambar dalam Bahasa Inggris banyak dilakukan. Sedikit penelitian yang ditemukan mengenai image captioning untuk menghasilkan deskripsi gambar dalam Bahasa Indonesia. Penelitian ini akan berfokus dalam mengembangkan model generative yang menggabungkan natural language preprocessing dan computer vision untuk menghasilkan deskripsi gambar dalam Bahasa Indonesia. Model yang digunakan dalam penelitian ini adalah attention mechanism dengan arsitektur transformer. Model penelitian ini menggunakan dataset MS COCO captions 2014 yang sudah diterjemahkan dan memperoleh skor rata-rata BLEU-1, BLEU-2, BLEU-3, BLEU-4 masing-masing adalah 31.12, 32.31, 42.39, 46.16.