<![CDATA[Abstrak -Website PKKMB 2024 Universitas Palangkaraya merupakan platform utama yang digunakan untuk menyampaikan informasi dan materi orientasi kepada mahasiswa baru. Mengingat pentingnya pengalaman pengguna dalam menentukan efektivitas website, penelitian ini bertujuan untuk melakukan analisis sentimen terhadap feedback mahasiswa menggunakan pendekatan machine learning. Data yang digunakan dalam penelitian ini terdiri dari ulasan yang dikumpulkan melalui survei online. Tahapan penelitian mencakup pengumpulan data, pra-pemrosesan data, data labeling, pembagian data pelatihan dan uji 80:20, penanganan imballance data dengan SMOTE oversampling. Implementasi beberapa algoritma Machine Learning menunjukan hasil akurasi SVM 87%, Random Forest 86%, Neural Networks 84%, Naïve Bayes 82%, Decision Tree 80% dan KNN 73%. SVM menunjukkan kinerja yang paling baik dalam mengklasifikasikan sentimen pengguna ke dalam kategori positif, negatif, dan netral dengan tingkat akurasi, presisi, recall, dan F1-score yang stabil dengan skor 0.87 untuk setiap parameter dalam studi kasus ini. Model ini juga dapat memetakan sentimen positif dengan sangat baik: 0.91, model negative seimbang: 0.78. Walaupun ditemukan ketidakseimbangan untuk data netral di 0.73. Yang mana juga dapat diamati pada confusion matrix sebanyak 95 sampel netral terklasifikasi dengan benar, namun 32 sampel netral diklasifikasikan sebagai negatif. Yang menandakan bahwa walaupun memiliki akurasi yang tinggi namun model masih perlu untuk dikembangkan lebih lanjut agar mampu mengklasifikasikan sentimen dengan baik khususnya dari sentimen yang netral. Penelitian ini memberikan wawasan penting bagi pengembang website PKKMB Universitas Palangkaraya dalam meningkatkan kualitas layanan kedepannya dan disisi lain untuk referensi analisis sentimen secara umum.Kata Kunci: Analisis Sentimen, Website PKKMB UPR 2024, Machine Learning Abstract - The PKKMB 2024 website of Palangkaraya University is the main platform used to convey information and orientation materials to new students. Given the importance of user experience in determining the effectiveness of a website, this study aims to conduct a sentiment analysis of student feedback using a machine learning approach. The data used in this study consisted of reviews collected through an online survey. The research stages include data collection, data pre-processing, data labeling, 80:20 training and test data division, data imbalance handling with SMOTE oversampling. The implementation of several Machine Learning algorithms showed an accuracy of SVM 87%, Random Forest 86%, Neural Networks 84%, Naïve Bayes 82%, Decision Tree 80% and KNN 73%. SVM showed the best performance in classifying user sentiment into positive, negative, and neutral categories with stable levels of accuracy, precision, recall, and F1-score with a score of 0.87 for each parameter in this case study. This model can also map positive sentiment very well: 0.91, balanced negative model: 0.78. Although there is an imbalance for neutral data at 0.73. Which can also be observed in the confusion matrix as many as 95 neutral samples are correctly classified, but 32 neutral samples are classified as negative. Which indicates that although it has high accuracy, the model still needs to be further developed in order to be able to classify sentiment well, especially from neutral sentiments. This study provides important insights for developers of the PKKMB Universitas Palangkaraya website in improving the quality of services in the future and on the other hand for general sentiment analysis references.Keywords: Sentiment Analysis, PKKMB UPR 2024 Website, Machine Learning]]>
