Jurnal Mahasiswa TEUB
Vol. 14 No. 5 (2026)

IMPLEMENTASI CNN-LSTM BERBASIS MEDIAPIPE UNTUK KLASIFIKASI BODYWEIGHT EXERCISE SECARA REAL-TIME

Habibi, Muhammad Rizal (Unknown)
Purnomo, Muhammad Fauzan Edy (Unknown)
Muttaqin, Adharul (Unknown)



Article Info

Publish Date
21 Jul 2026

Abstract

Inaktivitas fisik merupakan tantangan kesehatan global yang signifikan. Pertumbuhan aplikasi kebugaran digital belum diimbangi kemampuan mengenali jenis gerakan olahraga secara otomatis dan real-time. Penelitian ini mengusulkan model CNN-LSTM berbasis MediaPipe untuk mengklasifikasikan lima jenis bodyweight exercise, yaitu push-up, sit-up, squat, jumping jack, dan lunges, beserta kelas idle secara real-time. Data pose tubuh diekstraksi menggunakan MediaPipe dan diperkaya melalui rekayasa fitur geometris serta fitur dinamika gerakan sehingga menghasilkan representasi spasial-temporal yang lebih informatif. Convolutional Neural Network (CNN) digunakan untuk mengekstraksi pola geometris antar-landmark tubuh, sedangkan Long Short-Term Memory (LSTM) digunakan untuk mempelajari pola temporal gerakan. Studi ablasi dilakukan melalui tujuh skenario konfigurasi (K1–K7) yang mencakup variasi arsitektur, rekayasa fitur, dan augmentasi data. Hasil penelitian menunjukkan konfigurasi terbaik, yaitu K7 (CNNLSTM dengan fitur spasial-temporal dan augmentasi data) memperoleh akurasi ensemble sebesar 94,96%. Pengujian pada 13 subjek dengan tiga variasi sudut kamera menunjukkan sudut 45° dan 90° menghasilkan performa terbaik, sedangkan sudut 0° mengalami penurunan akurasi, khususnya pada push-up. Sistem mampu beroperasi secara real-time dengan rata-rata 17,05 FPS dan waktu inferensi 84,96 ms pada perangkat tanpa GPU khusus. Kata Kunci—Bodyweight Exercise, CNN-LSTM, Human Activity Recognition (HAR), Mediapipe. 

Copyrights © 2026