Claim Missing Document
Check
Articles

Found 2 Documents
Search

Analisis Perbandingan Model Machine Learning Tree-Based dan Non-Tree-Based untuk Tugas Klasifikasi Hilmi, Fadhilah; Taqiyassar, Kenzie; Pratama, Naufal Romero Putra; Kusuma, Satrio Condro; Nurwachid, Hafiz Rizky; Fatyanosa, Tirana Noor
Jurnal Teknologi Informasi dan Ilmu Komputer Vol 12 No 4: Agustus 2025
Publisher : Fakultas Ilmu Komputer, Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.25126/jtiik.124

Abstract

Penelitian ini membahas perbandingan performa model machine learning berbasis pohon keputusan (Tree-Based) dan non-pohon keputusan (Non-Tree-Based) dalam tugas klasifikasi. Model Tree-based yang diuji meliputi LightGBM, CatBoost, XGBoost, dan Random Forest, sedangkan model Non-tree-based meliputi SVM, KNN, dan GaussianNB. Evaluasi dilakukan pada tiga dataset berbeda, yaitu Spaceship Titanic, Horse Health, dan Keep It Dry. Metrik yang digunakan untuk mengevaluasi performa model adalah AUC-ROC, akurasi, dan F1-score Micro. Hasil penelitian menunjukkan bahwa model berbasis pohon keputusan seperti CatBoost dan LightGBM umumnya memberikan performa yang lebih baik dibandingkan dengan model non-pohon keputusan. CatBoost khususnya menunjukkan hasil terbaik dalam hal akurasi, AUC-ROC, dan F1-score Micro di sebagian besar dataset yang diuji. Selain itu, penelitian ini juga menyoroti pentingnya pemilihan model yang tepat berdasarkan karakteristik dataset yang digunakan. Faktor-faktor seperti kompleksitas data, jumlah fitur, dan distribusi kelas sangat mempengaruhi hasil akhir dari setiap model yang diterapkan. Dengan demikian, temuan ini dapat membantu praktisi machine learning dalam memilih model yang paling sesuai untuk tugas klasifikasi tertentu.   Abstract This study discusses the performance comparison of tree-based and non-tree-based machine learning models for classification tasks. The Tree-based models tested include LightGBM, CatBoost, XGBoost, and Random Forest, while the Non-tree-based models include SVM, KNN, and GaussianNB. The evaluation was conducted on three different datasets, namely Spaceship Titanic, Horse Health, and Keep It Dry. The metrics used to evaluate model performance are AUC-ROC, accuracy, and F1-score Micro. The results show that tree-based models such as CatBoost and LightGBM generally provide better performance compared to non-tree-based models. CatBoost, in particular, showed the best results in terms of accuracy, AUC-ROC, and F1-score Micro in most of the datasets tested. Additionally, this study highlights the importance of selecting the appropriate model based on the characteristics of the datasets used. Factors such as data complexity, number of features, and class distribution significantly affect the final results of each applied model. Thus, these findings can assist machine learning practitioners in choosing the most suitable model for specific classification tasks.
Penyelarasan Large Language Model terhadap Respon Tidak Etis menggunakan Reinforcement Learning from Human Feedback (RLHF) Hilmi, Fadhilah; Fatyanosa, Tirana Noor; Siagian, Al Hafiz Akbar Maulana
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer Vol 10 No 2 (2026): Februari 2026
Publisher : Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya

Show Abstract | Download Original | Original Source | Check in Google Scholar

Abstract

LLM atau Large Language Model telah menunjukkan kemampuan luar biasa dalam berbagai tugas pemrosesan bahasa alami, namun masih menghadapi tantangan terkait aspek etika dan keamanan output yang dihasilkan. Supervised Fine-Tuning yang umum digunakan untuk mengatasi masalah ini memiliki keterbatasan dalam hal fleksibilitas dan kemampuan generalisasi terhadap konteks baru. Oleh karena itu penelitian ini bertujuan mengimplementasikan metode Reinforcement Learning from Human Feedback untuk meningkatkan keselarasan model bahasa besar berbahasa Indonesia dengan preferensi dan nilai-nilai manusia. Implementasi RLHF dilakukan melalui tiga tahap: Supervised Fine-Tuning (SFT), pelatihan Reward Model, dan optimasi kebijakan menggunakan Proximal Policy Optimization (PPO). Hasil evaluasi menunjukkan bahwa Reward Model mencapai Pairwise Accuracy 0,80 dan Kendall’s Tau 0,60 dengan kemampuan generalisasi yang baik tanpa mengalami overfitting. Model hasil pelatihan PPO mencapai nilai Harmlessness 0,75 dengan Refusal Rate 0%, mengindikasikan bahwa model tidak lagi memberikan penolakan eksplisit seperti pada penelitian sebelumnya. Respon penolakan tersebut diganti dengan respons yang informatif, kontekstual, dan mengarahkan pengguna pada alternatif yang etis dan aman. Visualisasi SHAP mengonfirmasi perubahan karakteristik respons dari penolakan eksplisit dengan token seperti "tidak dapat menjawab" menjadi arahan informatif dengan token seperti "alternatif" dan "platform legal". Perbandingan dengan model baseline menunjukkan bahwa model hasil RLHF mampu menghasilkan respons dengan nilai Reward yang lebih tinggi pada sebagian besar skenario evaluasi. Meskipun demikian, model masih menunjukkan kelemahan dalam beberapa kasus, khususnya dalam menolak permintaan terkait informasi pribadi yang sensitif. Secara keseluruhan, implementasi RLHF berhasil meningkatkan keselarasan model dengan nilai-nilai keamanan dan kebermanfaatan tanpa mengorbankan kualitas interaksi yang konstruktif.