Implementasi YOLOv8 dan FaceNet untuk Sistem Keamanan Real-Time Berbasis IoT

Kurniawan, Ery
Rahmandhani, Rifqi
Rizkiansyah, Dimas
Kurniawati, Ika
Bismi, Waeisul
Fahlapi, Riza

Format : Jurnal Imiah Teknik Informatika
Vol 15, No 1 (2026)

Sistem keamanan CCTV konvensional umumnya hanya berfungsi sebagai perekam pasif tanpa kemampuan analisis otomatis, yang menyebabkan keterlambatan deteksi karena proses identifikasi dilakukan secara manual. Keterbatasan ini menimbulkan latensi tinggi dan akurasi deteksi yang rendah, sehingga menjadi masalah krusial dalam kebutuhan keamanan modern. System keamanan yang baik dapat mencegah tindak kejahatan yang bisa merugikan penghuni rumah baik fisik maupun materiil. Penelitian ini mengusulkan pengembangan sistem keamanan cerdas berbasis Internet Of Things (IoT) dengan integrasi deteksi wajah menggunakan YOLOv8 dan pengenalan wajah FaceNet menggunakan modul ESP32-CAM. Sistem ini dirancang untuk mendeteksi wajah secara real-time, identifikasi individu secara otomatis, serta pengiriman notifikasi instan melalui Telegram ketika terdeteksi wajah yang tidak dikenal. Metode penelitian ini meliputi perancangan arsitektur IoT, pengambilan dataset wajah, preprocessing menggunakan MTCNN, FaceNet untuk menghasilkan facial embeddings, serta implementasi YOLOv8 sebagai detektor wajah real-time. Evaluasi kinerja pengenalan wajah dilakukan dengan menerapkan metode 5-fold cross-validation pada dataset embedding FaceNet menggunakan pengklasifikasi k-NN. Hasil eksperimen menunjukan bahwa sistem mampu mendeteksi wajah dengan tingkat respon tinggi dan mengenali individu dengan akurasi yang konsisten pada pencahayaan dan jarak bervariasi. Hasil pengujian training rata-rata accuracy Top-1 mencapai 0.96 dan rata-rata accuracy Top-5 sebesar 0.99, YOLOv8 menunjukkan kemampuan deteksi wajah yang akurat dan cepat dengan waktu respon 1,86 detik pada server berbasis CPU Intel Core i5 dan GPU Intel UHD Graphics 620. Performa pengujian akurasi FaceNet dengan pengklasifikasi k-NN menghasilkan akurasi 99.35%, presisi 99,35%, recall 98,94%, F1-score 99,11%, dan FPR (False Positive Rate) 0,08%, hal ini menunjukkan bahwa sistem memiliki akurasi pengenalan wajah yang sangat tinggi dan konsisten. Sistem yang dikembangkan mampu memberikan peringatan instan kepada pengguna melalui Telegram saat terdeteksi wajah yang tidak dikenal, sehingga meningkatkan waktu respons terhadap potensi ancaman. Dengan performa yang stabil dan tangguh serta biaya implementasi yang rendah, sistem ini menawarkan solusi keamanan modern yang lebih adaptif, proaktif, efektif, dan efisien dibandingkan CCTV konvensional.