Article Per Year (5 Year)
p-Index From 2020 - 2025
0.23
P-Index
This Author published in this journals
All Journal Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Lina, Femi Novia
Unknown Affiliation
Computer Science & IT Control & Systems Engineering Education Electrical & Electronics Engineering Engineering

Published : 1 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search

 1 
Penerapan Arsitektur BERT2BERT pada Model Respon Dialog Chatbot Berbahasa Indonesia dengan Dataset Berukuran Terbatas Lina, Femi Novia; Perdana, Rizal Setya; Fatyanosa, Tirana Noor
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol 8 No 2 (2024): Februari 2024
Publisher : Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

Efisiensi yang ditawarkan menjadikan chatbot sebagai salah satu solusi yang populer untuk beragam permasalahan. Misalnya, dalam konteks layanan akademik, chatbot dapat berperan menghemat sumber daya yang diperlukan dalam menyediakan jawaban pertanyaan yang bersifat rutin, tetapi masih sulit diterapkan karena kurangnya data. Arsitektur yang populer dalam tugas text generation diantaranya encoder-decoder dan decoder-only. Menggunakan arsitektur encoder-decoder, BERT2BERT memanfaatkan BERT pre-trained model yang digunakan untuk inisialisasi komponen encoder dan decoder (Rothe et al., 2020). Arsitektur ini telah digunakan dalam penelitian untuk membangun conversational model berbahasa Arab dan merupakan solusi yang baik untuk permasalahan kurangnya dataset (Naous et al., 2021). Penelitian ini mencoba menggunakan arsitektur BERT2BERT untuk membangun model respon chatbot berbahasa Indonesia dengan data terbatas dan untuk keperluan layanan akademik. Hasil dari penelitian ini adalah arsitektur BERT2BERT memberikan performa yang kurang dengan perplexity score yang diperoleh adalah 573.0654, sementara perplexity score dari model GPT2 adalah 61.2645. Skor cosine similarity juga lebih rendah di angka 0.4009 dibandingkan dengan model GPT2 dengan skor cosine similarity 0.7037. Meskipun begitu, model BERT2BERT memberikan hasil yang lebih baik dibandingkan dengan model encoder-decoder sejenis, BERT2GPT. Model dengan arsitektur encoder-decoder seperti BERT2BERT tidak unggul dalam penelitian ini kemungkinan dikarenakan sulitnya mendapatkan konteks dari data yang berukuran terbatas.
Co-Authors Rizal Setya Perdana Tirana Noor Fatyanosa, Tirana Noor