Evaluasi Kinerja Datamining Pada Dataset Pendaftaran Mahasiswa Baru Dengan Class Yang Tidak Seimbang - Herianto Herianto; Nur Syamsiyah; Adam Arif B; Yahya Yahya (ikraith-informatika, 2021)
Topik penelitian ini di bidang EDM (Educational Datamining) yang bertujuanmemanfaatkan datamining dalam memperoleh informasi yang lebih bernilai daridatabase akademik Perguruan Tinggi. Penggunaan data pendaftaran mahasiswabaru karena karakteristik datanya yang umumnya tidak seimbang (imbalancedclass) sehingga dapat digunakan untuk menguji dan membandingkan kinerja modelpembelajaran machine learning. Perkakas yang digunakan adalah Jupyter sebagaieditor, Python sebagai bahasa pemrogramannya dan Library sklearn sebagai modulterpopular di bidang machine learning. Metodologi penelitian mengacu kepadaCRISP-DM sebagai metodologi yang bersifat terbuka. Percobaan dilakukanmenggunakan 7491 data, 5 kolom sebagai fitur dan 1 kolom sebagai target. Kelasbernilai 1 sebanyak 6197 (82,5%) dan yang bernilai 0 sebanyak 1312 (17,5%).Kemudian dibangun model klasifikasi dengan pembelajaran berbeda yaitu : SVM(Support Vector Machine), Logistic Regression, Decision Tree, Naive Bayes, danK-Nearest Neighbors (K-NN). Dari hasil percobaan diperoleh rata-rata akurasisemua model sebesar 0,81 dan nilai rata-rata F Score 0,46. Nilai Akurasi tertinggi0,82, dan akurasi terendah 0,81. Nilai F Score tertinggi 0,51 dan nilai F Scoreterendah adalah 0,44. Hasil ini kembali mengungkap bahwa pada kasus dengankomposi data target yang tidak seimbang (Imbalanced Classes) memungkinkanuntuk menghasilkan akurasi yang baik tetapi tidak menjamin nilai F Score baik.