Masalah kerusakan jalan pada jalan utama adalah salah satu gangguan saat berkendara dan dapat menyebabkan kecelakaan. Identifikasi kerusakan jalan masih dilakukan secara manual oleh pemerintah daerah dengan penyisiran jalan. Penggunaan teknologi kecerdasan buatan untuk identifikasi kerusakan jalan, sangat diperlukan. Algoritma CNN dapat melakukan identifikasi dan klasifikasi kerusakan jalan. Beberapa arsitektur pada CNN yang sering digunakan untuk klasifikasi diantaranya VGG19 dan ResNet50. Penelitian ini bertujuan untuk mengetahui perbandingan klasifikasi antara VGG19 dan ResNet50 pada kerusakan jalan. Perbandingan dilakukan dengan membedakan jumlah epochnya untuk setiap arsitektur. Jumlah dataset yang digunakan sebanyak 1656 citra. Model yang dibentuk bertujuan mengklasifikasikan kerusakan jalan menjadi tiga klasifikasi yaitu, kerusakan_besar, kerusakan_sedang, dan kerusakan_kecil. Jumlah epoch yang digunakan pada model adalah sebesar 10, 50, dan 100. Hasil dari penelitian arsitektur VGG19 dengan epoch 10 mendapatkan akurasi sebesar 79%, epoch 50 sebesar 73%, dan epoch 100 sebesar 76%. Arsitektur ResNet50 memperoleh hasil akurasi sebesar 75% dengan epoch 10, untuk epoch 50 sebesar 78%, dan epoch 100 sebesar 79%. Kesimpulan penelitian perbandingan klasifikasi kerusakan jalan, VGG19 dapat mengklasifikasikan lebih baik jika proses pelatihan yang lebih sederhana, sedangkan ResNet50 dapat melakukan klasifikasi lebih baik jika proses pelatihan yang lebih kompleks.