Penerapan Arsitektur BERT2BERT pada Model Respon Dialog Chatbot Berbahasa Indonesia dengan Dataset Berukuran Terbatas - Lina, Femi Novia; Perdana, Rizal Setya; Fatyanosa, Tirana Noor (Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 2024)
Efisiensi yang ditawarkan menjadikan chatbot sebagai salah satu solusi yang populer untuk beragam permasalahan. Misalnya, dalam konteks layanan akademik, chatbot dapat berperan menghemat sumber daya yang diperlukan dalam menyediakan jawaban pertanyaan yang bersifat rutin, tetapi masih sulit diterapkan karena kurangnya data. Arsitektur yang populer dalam tugas text generation diantaranya encoder-decoder dan decoder-only. Menggunakan arsitektur encoder-decoder, BERT2BERT memanfaatkan BERT pre-trained model yang digunakan untuk inisialisasi komponen encoder dan decoder (Rothe et al., 2020). Arsitektur ini telah digunakan dalam penelitian untuk membangun conversational model berbahasa Arab dan merupakan solusi yang baik untuk permasalahan kurangnya dataset (Naous et al., 2021). Penelitian ini mencoba menggunakan arsitektur BERT2BERT untuk membangun model respon chatbot berbahasa Indonesia dengan data terbatas dan untuk keperluan layanan akademik. Hasil dari penelitian ini adalah arsitektur BERT2BERT memberikan performa yang kurang dengan perplexity score yang diperoleh adalah 573.0654, sementara perplexity score dari model GPT2 adalah 61.2645. Skor cosine similarity juga lebih rendah di angka 0.4009 dibandingkan dengan model GPT2 dengan skor cosine similarity 0.7037. Meskipun begitu, model BERT2BERT memberikan hasil yang lebih baik dibandingkan dengan model encoder-decoder sejenis, BERT2GPT. Model dengan arsitektur encoder-decoder seperti BERT2BERT tidak unggul dalam penelitian ini kemungkinan dikarenakan sulitnya mendapatkan konteks dari data yang berukuran terbatas.