Segmentasi Multimodal Citra Medis Menggunakan Pre-Trained Swin Transformer Dengan Mixture of Experts - Pangondian, Yosia; Yudistira, Novanto; Widodo, Agus Wahyu (Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, 2025)
Segmentasi citra medis merupakan langkah penting dalam diagnosis medis yang lebih akurat dan pengobatan yang tepat. Namun, proses ini seringkali membutuhkan waktu yang lama dan bergantung pada keahlian radiologis, sehingga meningkatkan kemungkinan variabilitas antar pengamat. Penelitian ini mengusulkan penggunaan swin transformer dengan pre-trained weights, dikombinasikan dengan pendekatan Mixture of Experts (MoE), untuk melakukan segmentasi citra medis multimodal. Metode yang diusulkan mengatasi tantangan dalam segmentasi citra medis dengan mengintegrasikan data dari berbagai modalitas seperti Magnetic Resonance Imaging (MRI) dan Computed Tomography scan (CT-Scan), meningkatkan akurasi dan pemahaman kontekstual model. Selain itu, penelitian ini memperkenalkan Sample-wise Scalar Gating (SSG) sebagai metode modulasi skalar dinamis yang diimplementasikan setelah skip connection, yang terbukti meningkatkan performa segmentasi model. Hasil eksperimen menunjukkan bahwa penggunaan MoE dan SSG meningkatkan akurasi model, dengan dice score tertinggi mencapai 0.881. Kontribusi utama dari penelitian ini adalah pengembangan modulasi SSG yang memungkinkan kontrol dinamis terhadap sinyal gabungan, meningkatkan fleksibilitas model dalam menangani variasi data medis yang kompleks.