Fine-Tuning BERT untuk Menangani Ambiguitas Pada POS Tagging Bahasa Indonesia - Yazid, Ahmad Subhan; Winarko, Edi (Jurnal Linguistik Komputasional, 2023)
Ambiguitas merupakan masalah yang kerap muncul pada tugas-tugas pemrosesan bahasa alami, termasuk pada POS tagging (pelabelan kelas kata). Penelitian ini bertujuan menangani ambiguitas pada POS tagging bahasa Indonesia dengan pendekatan pembelajaran mendalam BERT (bidirectional encoder representation from transformers). Pendekatan ini dipilih untuk melengkapi menambah fleskfibilitas dari penelitian sebelumnya yang menerapkan metode berbasis aturan dan probabilistik. Untuk mendapatkan model yang optimal dan dapat menyelesaikan ambiguitas, dilakukan beberapa eksperimen dengan skenario fine-tuning terhadap korpus POS tagging. Fine-tuning dilakukan dengan mengubah nilai parameter pembelajaran dan penambahan kalimat-kalimat ambigu pada data latih. Eksperimen yang dilakukan menghasilkan model terbaik dengan nilai loss 0,1113, presisi 0,9635, recall 0,9658, dan f1 0,9647. Hasil tersebut didapatkan pada eksperimen dengan parameter learning rate 0,00004, ukuran batch 16, dan epoch 2. Hasil pengujian terhadap data uji juga menunjukkan bahwa model memiliki performa yang baik dan mampu menangani ambiguitas. Model yang dihasilkan berhasil melabeli 96 dari 100 kata ambigu pada kalimat dengan benar.