Implementasi convolutional neural network pada pengenalan isyarat tangan untuk komunikasi tuna wicara

Pratama, Hasbi Ardianto

Jurnal Komputer dan Teknologi Informasi
Vol 2, No 2 (2024): Implementasi Sistem Cerdas

Penelitian ini bertujuan untuk mengembangkan sistem pengenalan bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) guna menerjemahkan isyarat tangan menjadi teks. Sistem ini diharapkan dapat memfasilitasi komunikasi antara orang yang tidak menggunakan bahasa isyarat dengan penyandang disabilitas. Dataset yang digunakan dalam penelitian ini adalah dataset MNIST yang telah dimodifikasi untuk bahasa isyarat, di mana setiap gambar merepresentasikan huruf dalam abjad menggunakan isyarat tangan. Proses penelitian meliputi preprocessing data, augmentasi data, pembagian data menjadi data pelatihan dan pengujian, serta pelatihan model menggunakan framework TensorFlow. Model CNN yang dihasilkan terdiri dari beberapa lapisan, termasuk Convolutional Layer, Max Pooling Layer, dan Fully Connected Layer. Hasil penelitian menunjukkan bahwa sistem pengenalan bahasa isyarat yang dikembangkan memiliki akurasi terbaik sebesar 98%. Tingkat akurasi ini dipengaruhi oleh nilai learning rate, tingkat kerapian pola bahasa isyarat, jumlah dataset, dan arsitektur model CNN yang digunakan. Penelitian ini menunjukkan bahwa CNN sangat efektif untuk tugas pengenalan bahasa isyarat. Untuk pengembangan lebih lanjut, disarankan untuk menerapkan teknik preprocessing dan ekstraksi fitur tambahan, menggunakan teknik segmentasi untuk memproses pola isyarat yang bersambung, mengeksplorasi teknik Deep Learning lainnya seperti RCNN, Faster R-CNN, dan GAN, memperkaya dan memvariasikan data latih, serta menggunakan perangkat keras dengan spesifikasi tinggi untuk mempercepat proses pelatihan dan pengujian. Dengan demikian, sistem pengenalan bahasa isyarat ini dapat terus ditingkatkan dan diaplikasikan secara luas untuk membantu komunikasi penyandang disabilitas.