Sistem Pintu Cerdas Berbasis Pengenalan Wajah dan Kartu Identitas Menggunakan YOLOv8 dan Optical Character Recognition (OCR)

Ilhami Rizki, Anugrah
Regasari Mardi Putri, Rekyan
Hazbiy Shaffan, Nur

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
Vol 9 No 4 (2025): April 2025

Serangan spoofing telah menjadi ancaman serius pada sistem pintu cerdas berbasis pengenalan wajah. Serangan ini memungkinkan pengguna yang tidak sah untuk mendapatkan akses untuk mesuk ke dalam area yang dilindungi pada sebuah fasilitas. Untuk mengatasi permasalahan ini, penelitian ini mengusulkan solusi berupa implementasi autentikasi multi-faktor pada sistem cerdas berbasis pengenalan wajah dengan menambahkan faktor autentikasi kedua berbasis pengenalan teks kartu identitas. Penelitian ini bertujuan untuk mengetahui apakah penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap ancaman serangan spoofing. Untuk autentikasi pengenalan wajah, penelitian ini menggunakan metode dan algoritma yang telah ada sebelumnya dan menggunakan model pengenalan wajah yang telah dilatih melalui pustaka face_recognition pada Python. Sedangkan untuk autentikasi pengenalan teks kartu identitas, sistem ini menggunakan deteksi objek menggunakan model YOLOv8 yang dilatih menggunakan data primer, pengenalan teks menggunakan Tesseract OCR, serta ekstraksi informasi menggunakan regular expression. Kartu identitas yang digunakan adalah kartu identitas khusus dengan data fiktif yang dirancang khusus hanya untuk penelitian ini. Penelitian ini menggunakan 4 kelas pada pengujian dengan masing-masing kelas sebanyak 10 kali percobaan, dimana 1 kelas merepresntasikan pengguna sah sedangkan 3 kelas yang lainnya merepresentasikan pengguna tidak sah dengan 3 skenario yang berbeda. Hasil pengujian menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas dapat meningkatkan keamanan sistem pintu cerdas berbasis pengenalan wajah terhadap serangan spoofing. Hal ini ditunjukkan dengan kemampuan sistem untuk mencegah terjadinya false postive oleh serangan spoofing yang dilambangkan dengan nilai spesifitas, dimana nilai ini meningkat dari 0.15 menjadi 1. Selain itu, hasil pengujian juga menunjukkan bahwa penambahan autentikasi berbasis pengenalan teks kartu identitas juga meningkatkan nilai akurasi sistem secara keseluruhan dari 0.575 menjadi 0.775. Dengan ini, diharapkan penelitian ini dapat menjadi solusi untuk mengatasi ancaman serangan spoofing pada sistem pintu cerdas berbasis pengenalan wajah.