Beras merupakan jenis pangan utama yang paling populer di konsumsi di seluruh dunia. Berbagai negara pun melakukan proses impor untuk memenuhi kebetuhan penduduk di negaranya, salah satunya adalah Indonesia. Indonesia merupakan negara yang tergolong memiliki permintaan pasar pangan yang tinggi di ruang lingkup global. Masuknya berbagai varietas beras akibat adanya kegiatan impor di Indonesia membuat para importir mengalami kesulitan selama proses penyortiran produknya. Seiring berjalannya kemajuan teknologi pula, para importir juga harus terus beradaptasi, salah satunya dengan memanfaatkan salah satu teknologi yang akhir-akhir ini sedang marak dikembangkan oleh para peneliti. CNN atau Convolutional Neural Network merupakan salah satu teknologi yang memiliki kemampuan yang baik dalam mengklasifikasikan citra gambar. CNN sendiri memiliki banyak sekali algoritma, di antaranya adalah VGG16 dan VGG19. Kedua algoritma tersebut merupakan pengembangan dari algoritma terdahulunya yang dinamakan AlexNet. Penelitian ini berfokus pada penyusunan setiap algoritma, proses training, dan diakhiri oleh proses analisis terkait kinerja dari kedua model. Penelitian ini menunjukkan bahwa algoritma VGG16 memiliki kinerja yang lebih baik, mencapai akurasi sebesar 98% dengan waktu training 73,405 detik. Sementara itu, algoritma VGG19 mencapai akurasi 97% dengan waktu training 78,098 detik dalam mengklasifikasikan varietas beras menggunakan dataset yang memiliki lima kelas.