Chatbot Development for an Interactive Academic Information Services using the Rasa Open Source Framework - Dirko G. S. Ruindungan; Agustinus Jacobus (Jurnal Teknik Elektro dan Komputer, 2021)
Abstract — Academic administration information services that are spread through various online media are often not missed by students. Students prefer to ask directly to the manager of the study program using a chat application. However, the lack of human resources on the information provider side means that information services through chat applications cannot be provided optimally. In this study, a chatbot was developed to autonomously serve requests for information from users. The chatbot is developed using the Rasa Open Source framework. This study uses student's Frequently Asked Questions data to the study program as initial training data for chatbots. The data was developed into Natural Language Understanding (NLU) training data and dialogue training data. The number of sentence samples for NLU training was 188 sample sentences and for dialogue training was 31 dialogue samples. The results of the NLU evaluation show that chatbots can understand well the meaning of text messages from users, indicated by the weighted average value for precision 0.995, recall 0.995 and F1-Score 0.995. Meanwhile, the dialogue model evaluation gets an accuracy level of 0.70, a precision value of 0.72 and an F1-score of 0.70 which represent the results of the evaluation of the performance level of the chatbot in predicting the right response for the user. Keywords — Academic Information Service; Chatbot; Framework; NLU; Rasa Open Source.Layanan informasi administrasi akademik yang tersebar melalui berbagai macam media online seringkali tidak dilewati oleh mahasiswa. Seringkali mahasiswa lebih memilih bertanya langsung ke pengelola program studi menggunakan aplikasi chat. Namun kurangnya sumber daya manusia di sisi penyedia informasi membuat pelayanan informasi melalui aplikasi chat tidak dapat diberikan dengan maksimal. Pada penelitian ini, dikembangkan sebuah chatbot untuk melayani permintaan informasi dari pengguna secara otonom. Chatbot dikembangkan menggunakan framework Rasa Open Source. Penelitian ini menggunakan data Frequently Asked Questions mahasiswa ke pengelola program studi sebagai data pelatihan awal untuk chatbot. Data tersebut dikembangkan menjadi data pelatihan Natural Language Understanding (NLU) dan data pelatihan dialog. Jumlah sampel kalimat untuk pelatihan NLU sebanyak 188 sampel kalimat dan untuk pelatihan dialog adalah 31 dialog. Hasil evaluasi NLU memperlihatkan chatbot dapat memahami dengan baik maksud pesan teks pengguna, ditunjukkan dengan nilai rata-rata tertimbang untuk precision 0,995, recall 0,995 dan F1-Score 0,995. Sementara untuk evaluasi model dialog mendapatkan tingkat akurasi 0.70, nilai presisi 0,72 dan F1-Score 0,70 yang merepresentasikan hasil evaluasi performansi chatbot dalam memprediksi respon yang tepat untuk pengguna.