Integrasi teknologi Kecerdasan Buatan (Artificial Intelligence/AI) dan machine learning ke dalam sistem peradilan pidana di Indonesia menghadirkan perdebatan mendasar terkait keadilan, legitimasi etis, dan kepastian hukum. Penelitian ini bertujuan untuk menganalisis bahaya algorithmic bias terhadap asas keadilan utilitarian serta merumuskan rekonstruksi diskresi hakim dalam menjaga prinsip due process of law. Menggunakan metode penelitian hukum normatif-filosofis melalui pendekatan Utilitarianisme, hasil penelitian menunjukkan bahwa ketergantungan pada algoritma peradilan berpotensi merelokasi historical bias dari data masukan ke dalam keputusan hukum modern. Hal ini melanggar kalkulasi kebahagiaan kualitatif Utilitarianisme karena mereproduksi penderitaan diskriminatif pada kelompok marginal serta mereduksi martabat manusia menjadi sekadar angka probabilitas statistik. Fenomena Black Box AI dan automation bias juga mengancam independensi hakim, asas praduga tidak bersalah (presumption of innocence), serta memicu pergeseran berbahaya menuju Crime Control Model yang mengagungkan efisiensi teknis di atas prosedur hukum. Oleh karena itu, penelitian ini merekomendasikan rekonstruksi diskresi hakim berbasis prinsip "kendali bermakna" (meaningful public control), yang menegaskan kedudukan AI murni sebagai alat bantu analitis (decision-support system) berbasis Explainable AI (XAI). Pusat pertimbangan normatif dan tanggung jawab moral pemidanaan harus tetap berada sepenuhnya di tangan hakim manusia guna menjamin transparansi, martabat terdakwa, dan keadilan substantif di era digital.