Jurnal Linguistik Komputasional
Vol 6 No 2 (2023): Vol. 6, No. 2

Fine-Tuning BERT untuk Menangani Ambiguitas Pada POS Tagging Bahasa Indonesia

Yazid, Ahmad Subhan (Unknown)
Winarko, Edi (Unknown)



Article Info

Publish Date
30 Sep 2023

Abstract

Ambiguitas merupakan masalah yang kerap muncul pada tugas-tugas pemrosesan bahasa alami, termasuk pada POS tagging (pelabelan kelas kata). Penelitian ini bertujuan menangani ambiguitas pada POS tagging bahasa Indonesia dengan pendekatan pembelajaran mendalam BERT (bidirectional encoder representation from transformers). Pendekatan ini dipilih untuk melengkapi menambah fleskfibilitas dari penelitian sebelumnya yang menerapkan metode berbasis aturan dan probabilistik. Untuk mendapatkan model yang optimal dan dapat menyelesaikan ambiguitas, dilakukan beberapa eksperimen dengan skenario fine-tuning terhadap korpus POS tagging. Fine-tuning dilakukan dengan mengubah nilai parameter pembelajaran dan penambahan kalimat-kalimat ambigu pada data latih. Eksperimen yang dilakukan menghasilkan model terbaik dengan nilai loss 0,1113, presisi 0,9635, recall 0,9658, dan f1 0,9647. Hasil tersebut didapatkan pada eksperimen dengan parameter learning rate 0,00004, ukuran batch 16, dan epoch 2. Hasil pengujian terhadap data uji juga menunjukkan bahwa model memiliki performa yang baik dan mampu menangani ambiguitas. Model yang dihasilkan berhasil melabeli 96 dari 100 kata ambigu pada kalimat dengan benar.

Copyrights © 2023






Journal Info

Abbrev

jlk

Publisher

Subject

Computer Science & IT

Description

Jurnal Linguistik Komputasional (JLK) menerbitkan makalah orisinil di bidang lingustik komputasional yang mencakup, namun tidak terbatas pada : Phonology, Morphology, Chunking/Shallow Parsing, Parsing/Grammatical Formalisms, Semantic Processing, Lexical Semantics, Ontology, Linguistic Resources, ...