Permasalahan utama dalam klasifikasi data berdimensi tinggi adalah lambatnya proses pemindaian dan inkonsistensi akurasi model, yang berdampak negatif terhadap kualitas informasi dan pengambilan keputusan berbasis data. Dalam konteks prediksi risiko keuangan, seperti kredit macet, keterbatasan ini dapat menghambat efektivitas sistem pendukung keputusan. Penelitian ini bertujuan untuk mengevaluasi dan mengembangkan kinerja algoritma klasifikasi dasar, yaitu C4.5 dan K-Nearest Neighbor (KNN), melalui integrasi teknik ensemble learning bagging dan stacking. Penelitian ini merupakan penelitian kuantitatif dengan desain eksperimen komparatif. Subjek penelitian adalah empat dataset publik yang merepresentasikan data keuangan, yaitu Bank Marketing (41188 record), Credit Card (1319 record), Credit Risk Assessment (32581 record), dan Credit Card Defaulter (10000 record). Data dikumpulkan dari repositori Kaggle, kemudian diolah menggunakan algoritma C4.5 dan KNN yang diintegrasikan dengan teknik ensemble. Instrumen penelitian berupa implementasi model klasifikasi menggunakan perangkat lunak Rapid Miner dan Python, dengan pengujian validitas melalui k-fold cross validation dan pengukuran reliabilitas menggunakan metrik akurasi. Teknik analisis data meliputi pengujian performa model berdasarkan nilai akurasi, presisi, recall, dan F1-score. Hasil penelitian menunjukkan bahwa bagging dengan algoritma C4.5 memberikan hasil terbaik pada tiga dari empat dataset, masing-masing dengan akurasi 91,21%, 97,73%, dan 92,11%. Sedangkan pada dataset keempat, kombinasi bagging dan KNN menghasilkan akurasi tertinggi sebesar 97,06%. Simpulan dari penelitian ini adalah bahwa teknik bagging secara signifikan mampu meningkatkan akurasi dan konsistensi model klasifikasi dasar. Implikasi dari hasil ini menunjukkan bahwa integrasi metode ensemble dapat menjadi solusi praktis dan teoretis untuk meningkatkan kualitas klasifikasi dalam domain keuangan, khususnya dalam memprediksi risiko kredit.