Klasifikasi Alzheimer Disease Menggunakan Multimodal pada Gambar MRI Scan dan Hasil Asesmen Kognitif - Rafifah Nawawi, Danisha; Muflikhah, Lailil (Fakultas Ilmu Komputer (FILKOM), Universitas Brawijaya, 2025)
Penelitian ini mengeksplorasi pendekatan klasifikasi penyakit Alzheimer dengan memanfaatkan integrasi data citra dan data kognitif pasien. Model yang dikembangkan bersifat multimodal, menggabungkan informasi visual dari irisan citra MRI 2D dengan data asesmen kognitif melalui dua jalur pemrosesan terpisah. Citra MRI diproses menggunakan ResNet101 yang telah dimodifikasi pada bagian akhir, sementara data kognitif diolah melalui multilayer perceptron. Kedua representasi digabung menggunakan teknik intermediate fusion untuk menghasilkan prediksi akhir. Eksperimen dilakukan menggunakan dataset ADNI dan mencakup berbagai kombinasi fungsi loss, optimizer, serta konfigurasi hyperparameter. Hasil menunjukkan bahwa pendekatan multimodal secara konsisten memberikan performa lebih baik dibandingkan dengan pendekatan unimodal. Konfigurasi terbaik dicapai ketiga konfigurasi berikut, AdamW dengan Focal Loss (lr=1e-5, wd=1e-4) yang menghasilkan macro sensitivity dan specificity tertinggi yaitu sebesar 95,59% 97,69%. Akurasi tertinggi sebesar 95,86% diperoleh dengan SGD default menggunakan Focal Loss, sementara AUC terbaik sebesar 0,9902 dicapai oleh SGD dengan Focal Loss (lr=1e-4, wd=1e-5). Temuan ini menegaskan pentingnya eksplorasi strategi pelatihan dan desain model dalam pengembangan sistem klasifikasi Alzheimer berbasis multimodal.