Serangan deepfake dan voice phishing (vishing) menjadi ancaman baru dalam dunia keamanan siber, terutama dalam konteks identitas digital dan sistem autentikasi berbasis suara serta wajah. Penelitian ini mengusulkan suatu framework pencegahan serangan deepfake dan voice phishing menggunakan pendekatan Multi-Factor Biometric Authentication (MFBA) yang mengintegrasikan Convolutional Neural Network (CNN) untuk deteksi citra wajah palsu dan Bidirectional Long Short-Term Memory (BiLSTM) untuk verifikasi suara. Framework ini didukung oleh mekanisme weighted decision fusion yang menggabungkan hasil autentikasi biometrik dengan faktor non-biometrik seperti OTP (One-Time Password) dan behavioral pattern recognition. Evaluasi dilakukan menggunakan dataset DFDC (Deepfake Detection Challenge) dan ASVspoof 2021, serta data autentikasi internal. Hasil eksperimen menunjukkan akurasi deteksi deepfake sebesar 96,7%, precision 95,2%, recall 97,5%, dan nilai F1 sebesar 96,3%. Penelitian ini memberikan kontribusi terhadap pengembangan sistem autentikasi cerdas berbasis biometrik multimodal yang lebih tahan terhadap serangan manipulasi visual dan suara
Copyrights © 2025