Sistem Klasifikasi Real-Time Gerakan Semaphore untuk Pembelajaran Menggunakan MediaPipe dan Random Forest - Triyono Triyono; Akhmad Fadjeri (Program Studi Teknik Komputer, Fakultas Teknik. Universitas Serambi Mekkah, 2025)
Abstrak - Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi gerakan semaphore berbasis computer vision dan machine learning yang mendukung pembelajaran visual secara mandiri. Sistem memanfaatkan MediaPipe Holistic untuk mendeteksi titik-titik landmark tubuh dan tangan, serta menggunakan algoritma Random Forest sebagai metode klasifikasi. Dataset dikumpulkan secara langsung dengan merekam gerakan semaphore huruf A hingga Z, kemudian digunakan untuk pelatihan dan pengujian model. Hasil evaluasi menunjukkan performa model yang sangat tinggi, dengan akurasi, precision, recall, dan F1-score mendekati 100% pada kondisi pencahayaan optimal. Namun demikian, hasil ini masih perlu dikaji secara kritis karena keterbatasan variasi data dan perangkat keras, seperti kualitas kamera dan lingkungan pengambilan gambar. Sistem diuji secara real-time dan mampu mengenali pose secara akurat dalam kondisi terang, meskipun akurasi cenderung menurun dalam pencahayaan rendah. Penelitian ini memiliki potensi untuk mendukung pembelajaran semaphore dalam konteks pendidikan kepramukaan, pelatihan militer, maupun inklusi komunikasi visual. Untuk pengembangan ke depan, sistem ini dapat dikombinasikan dengan teknologi text-to-speech (TTS) atau Augmented Reality (AR) guna meningkatkan pengalaman pembelajaran.Kata kunci: MediaPipe Holisti; Random Forest; Semaphore; Computer Vision; Pembelajaran Visual Abstract - This study aims to develop a semaphore gesture classification system based on computer vision and machine learning to support self-directed visual learning. The system utilizes MediaPipe Holistic to detect body and hand landmarks and employs the Random Forest algorithm for classification. The dataset was collected through direct recordings of semaphore gestures from letters A to Z, then used for training and testing the model. Evaluation results show that the model achieved high performance, with accuracy, precision, recall, and F1-score approaching 100% under optimal lighting conditions. However, these results require critical interpretation due to limitations in data diversity and hardware quality, such as camera resolution and environmental conditions. The system was tested in real-time and demonstrated reliable pose recognition in bright environments, although performance decreased in low-light settings. This system shows potential to support semaphore learning in scout education, military training, and visual communication inclusion. Future development may include integration with text-to-speech (TTS) or augmented reality (AR) technologies to enhance the learning experience.Keywords: MediaPipe Holistic; Random Forest; Semaphore; Computer Vision; Visual Learning