Tantangan yang dihadapi individu dengan gangguan pendengaran dalam berkomunikasi, terutama di lingkungan yang kurang mendukung komunikasi visual, menegaskan pentingnya bahasa isyarat sebagai media utama. Di Indonesia, dua sistem bahasa isyarat yang menonjol adalah SIBI (Sistem Isyarat Bahasa Indonesia) dan BISINDO (Bahasa Isyarat Indonesia). Namun, kompleksitas dan nuansa bahasa isyarat, termasuk gerakan bertumpuk dan gerakan dinamis, menjadi hambatan signifikan dalam pengenalan dan penerjemahan yang akurat. Penelitian ini mengusulkan sistem pengenalan bahasa isyarat SIBI secara real-time dengan memanfaatkan algoritma Long Short-Term Memory (LSTM) dan kerangka Mediapipe-Holistic. Teknologi ini diintegrasikan untuk memproses gerakan dinamis dan gerakan tangan bertumpuk dengan efisien. Sistem ini dirancang untuk menerjemahkan gerakan bahasa isyarat menjadi teks. Dengan teknik pembelajaran mesin, sistem ini akan menggunakan data yang diambil secara privat sebanyak 14,400 untuk setiap gerak bahasa isyarat. untuk melatih model agar dapat mengenali gerakan serta mampu beradaptasi dengan berbagai gaya komunikasi dan kondisi lingkungan data akan dibagi menjadi 80:15. Penelitian ini mencapai akurasi deteksi 99.3% berdasarkan F1-Score yang memungkinkan model untuk melakukan deteksi gerak bahasa isyarat SIBI secara akurat.