Pengembangan Chatbot Menggunakan BERT untuk Pengelolaan Komunikasi Beasiswa Ikatan Alumni Universitas Pendidikan Indonesia - Jullfikar, Raisyad; Megasari, Rani; Sukamto, Rosa Ariani (Information Technology and Science(ITScience), 2025)
Komunikasi yang efektif antara alumni dan organisasi menjadi elemen penting dalam penyampaian informasi, khususnya terkait program beasiswa. Dalam konteks Ikatan Alumni Universitas Pendidikan Indonesia (IKA UPI), keterbatasan sumber daya manusia menyebabkan hambatan dalam merespons pertanyaan informasi secara cepat dan akurat. Penelitian ini bertujuan untuk mengembangkan chatbot menggunakan BERT (Bidirectional Encoder Representations from Transformers) untuk menjawab pertanyaan seputar beasiswa secara otomatis. Model yang digunakan adalah IndoBERT yang melalui lima tahapan fine-tuning, yaitu Masked Language Modeling (MLM), Next Sentence Prediction (NSP), Intent Classification, Extractive Question Answering (SQuAD), dan Semantic Retrieval. Evaluasi dilakukan menggunakan metrik seperti accuracy, F1-score, exact match (EM), recall, latency, accuracy@k, dan mean reciprocal rank (MRR). Hasil eksperimen menunjukkan kinerja yang kuat pada berbagai tugas-tugas fundamental, dengan F1-score mencapai 93,33% untuk Next Sentence Prediction (NSP), dan 86,74% untuk Intent Classification. Namun demikian, tugas-tugas terkait pemahaman konteks yang lebih kompleks seperti Extractive Question Answering (SQuAD) dan Semantic Retrieval menunjukkan tantangan, dengan F1-score memperoleh 43,57% dan mean reciprocal rank (MRR) 0,34. Penelitian ini mengonfirmasi bahwa kelayakan implementasi chatbot dengan menggunakan model BERT (Bidirectional Encoder Representations from Transformers) untuk pengelolaan informasi beasiswa Ikatan Alumni UPI, sekaligus memetakan tantangan dalam tugas-tugas pemahaman konteks yang lebih dalam.