<![CDATA[Named Entity Recognition (NER) merupakan salah satu tugas penting dalam Natural Language Processing yang digunakan untuk mengidentifikasi dan mengklasifikasikan entitas dalam teks. Kinerja model NER berbasis pre-trained language model tidak hanya dipengaruhi oleh arsitektur, tetapi juga oleh konfigurasi hiperparameter, khususnya learning rate. Penelitian ini bertujuan menganalisis pengaruh learning rate terhadap kinerja dan konvergensi model IndoBERT-BiLSTM-CRF pada NER Bahasa Indonesia. Empat nilai learning rate diuji, yaitu 1×10-5, 2×10-5, 3×10-5, dan 5×10-5, dengan konfigurasi model lainnya dipertahankan tetap. Setiap konfigurasi dijalankan menggunakan tiga random seed untuk mengevaluasi kestabilan hasil. Kinerja model diukur menggunakan Token Macro-F1 dan Entity F1, sedangkan konvergensi dianalisis berdasarkan perubahan training loss dan Validation Entity F1 pada setiap epoch. Hasil menunjukkan bahwa peningkatan learning rate memberikan peningkatan kinerja hingga rentang tertentu. Entity F1 meningkat dari 0,8951 pada 1×10-5 menjadi 0,9392 pada 5×10-5, sedangkan Token Macro-F1 meningkat dari 0,5848 menjadi 0,7902. Dari sisi konvergensi, 5×10-5 mencapai Validation Entity F1 sebesar 0,90 pada epoch ke-5, lebih cepat dibandingkan 3×10-5 pada epoch ke-6 dan 2×10-5 pada epoch ke-9. Meskipun 5×10-5 memberikan rata-rata kinerja tertinggi, perbedaan Entity F1 dengan 3×10-5 sangat kecil. Temuan ini menunjukkan bahwa learning rate memberikan pengaruh yang lebih kuat terhadap kecepatan konvergensi, sementara peningkatan kinerja akhir mulai mengalami saturasi pada rentang 3×10-5 hingga 5×10-5. Named Entity Recognition (NER) is an important Natural Language Processing task for identifying and classifying entities in text. The performance of NER models based on pre-trained language models is influenced not only by the model architecture but also by hyperparameter configuration, particularly the learning rate. This study investigates the effect of learning rate on the performance and convergence of an IndoBERT-BiLSTM-CRF model for Indonesian NER. Four learning rates were evaluated, namely 1×10-5, 2×10-5, 3×10-5, dan 5×10-5, while keeping the remaining model configurations unchanged. Each configuration was evaluated using three random seeds to assess performance stability. Model performance was measured using Token Macro-F1 and Entity F1, while convergence was analyzed based on training loss and Validation Entity F1 across epochs. The results show that increasing the learning rate improves model performance up to a certain range. Entity F1 increased from 0.8951 at 1×10-5 to 0.9392 at 5×10-5, while Token Macro-F1 increased from 0.5848 to 0.7902. In terms of convergence, the 5×10-5 configuration reached a Validation Entity F1 of 0.90 at epoch 5, earlier than 3×10-5 at epoch 6 and 2×10-5, at epoch 9. Although 5×10^(-5) achieved the highest average performance, its Entity F1 was only marginally higher than that of 3×10-5. These findings indicate that learning rate has a stronger effect on convergence speed, while final performance begins to saturate within the range of 3×10-5, to 5×10-5.]]>
Copyrights © 2026
