Model machine learning berperforma tinggi seperti random forest dan gradient boosting semakin banyak digunakan untuk prediksi risiko di bidang kesehatan masyarakat, namun sifatnya yang black-box menghambat adopsinya dalam pengambilan kebijakan yang menuntut transparansi. Explainable artificial intelligence (XAI) hadir sebagai jembatan yang memungkinkan penggunaan model prediktif yang kuat tanpa kehilangan kemampuan menjelaskan hasil kepada pemangku kepentingan. Tinjauan literatur ini bertujuan untuk menelaah penerapan teknik XAI — khususnya SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations), dan permutation importance — pada data kesehatan, sekaligus mengidentifikasi tiga isu metodologis yang sering terlewat: perbedaan antara kepentingan prediktif dan signifikansi statistik, masalah ketidaksepakatan antar-metode XAI (disagreement problem), serta batas antara penjelasan model dengan klaim kausal untuk kebijakan. Penelusuran literatur dilakukan pada basis data PubMed, arXiv, prosiding NeurIPS, dan Nature Machine Intelligence dengan rentang publikasi tahun 2016–2025. Hasil tinjauan terhadap delapan studi aplikasi dan empat karya metodologis fondasi menunjukkan bahwa XGBoost dan SHAP mendominasi literatur, dengan motivasi utama peningkatan kepercayaan klinisi. Nilai tambah pendekatan modern paling nyata pada kondisi data dengan hubungan non-linear, interaksi antar-variabel, dan multikolinearitas tinggi. Pemahaman yang tepat atas batas interpretasi XAI justru memperkuat relevansinya bagi pengambil kebijakan kesehatan.