Jalan merupakan kebutuhan manusia yang sangatlah penting untuk kita sebagai manusia yang melakukan aktivitas, akses jalan sangat penting untuk mencapai tujuan yang diinginkan. Seiring dengan meningkatnya jumlah penduduk di Indonesia, penggunaan jalan juga semakin meningkat, sehingga perlu mendapatkan perhatian lebih. Salah satu masalah yang sering dihadapi oleh pengendara adalah jalan berlubang. Hal ini terjadi karena tingginya volume kendaraan yang melintas, yang menyebabkan kondisi jalan semakin cepat rusak. Keberadaan jalan berlubang dapat mengganggu aktivitas hingga berisiko menyebabkan kecelakaan. Penelitian ini bertujuan untuk merancang sebuah sistem yang mampu mengidentifikasi keberadaan jalan berlubang. Sistem ini menggunakan Yi Cam kamera yang dipasang di bodi mobil di ketinggian 70 cm dan mengarah ke jalan. Data yang dikumpulkan berupa video, yang kemudian diekstrak menjadi gambar sebagai bagian dari proses pengumpulan dan perolehan data. Setelah itu, dilakukan Pembuatan kotak pembatas untuk menandai area Jalan yang mengalami kerusakan berupa cekungan atau rongga. Gambar yang telah dikumpulkan akan diberi label sesuai dengan lokasi lubang dan digunakan dalam proses pelatihan (training). Hasil akhirnya adalah video deteksi jalan berlubang, di mana lubang-lubang yang terdeteksi akan ditandai dengan bounding box sebagai indikator keberadaannya.