Identifikasi batu permata masih banyak dilakukan secara manual oleh ahli gemologi dengan kelemahan subjektivitas dan potensi kesalahan. Penelitian ini mengimplementasikan Convolutional Neural Network (CNN) untuk membangun sistem klasifikasi otomatis berbasis citra digital batu permata. Dataset yang digunakan terdiri dari tiga kelas, yaitu Alexandrite, Almandine, dan Amazonite, dengan jumlah data yang relatif terbatas. Tahapan penelitian meliputi preprocessing citra (resize menjadi 100×100 piksel, normalisasi), augmentasi data (rotasi, flipping, zooming, shifting), serta pembangunan model CNN sequential dengan tiga lapisan konvolusi, batch normalization, max pooling, dropout, dan lapisan fully connected. Model dilatih menggunakan optimizer Adam dengan fungsi loss categorical crossentropy. Hasil penelitian menunjukkan bahwa model mencapai akurasi training akhir sebesar 100,00% dengan loss training 0,0217, namun akurasi validasi hanya 33,33% dengan loss validasi 4,3854, mengindikasikan terjadinya overfitting. Analisis confusion matrix menunjukkan bahwa model memiliki performa terbaik pada kelas Alexandrite, sedangkan kelas Almandine dan Amazonite sering mengalami misklasifikasi. Faktor utama overfitting adalah jumlah dataset yang terbatas dan kompleksitas arsitektur CNN yang tinggi. Disimpulkan bahwa CNN berhasil mempelajari pola visual data training dengan sangat baik, namun memerlukan peningkatan kuantitas dan variasi data untuk kemampuan generalisasi yang optimal. Saran untuk penelitian selanjutnya adalah penambahan dataset, penerapan transfer learning, dan penyesuaian kompleksitas model.