Convolutional Neural Network (CNN) merupakan metode yang terinspirasi oleh jaringan biologis yang digunakan untuk mengklasifikasi gambar, teks, audio dan pendeteksian objek. CNN, terdiri atas banyak lapisan yang berguna untuk mempelajari fitur-fitur khusus pada data. Terdapat tiga lapisan paling umum yang terdapat pada CNN diantaranya convolutional layer, activation layer dan pooling layer. Pada penelitian ini, dilakukan proses training pada data gambar kemudian dilakukan pengujian menggunakan data testing untuk mengetahui hasil dari proses pembelajaran pada model yang telah dibentuk. Penelitian ini bertujuan untuk menerapkan metode CNN pada klasifikasi gambar tandan buah segar kelapa sawit menggunakan bantuan software Rstudio. Klasifikasi dilakukan pada data berjumlah 40 gambar dengan proporsi data 70%:30% menggunakan perbandingan data optimasi Adam dengan nilai learning rate sebesar 0,01 dan 0,001. Berdasarkan penelitian yang telah dilakukan, didapatkan hasil dengan nilai akurasi terbaik yaitu pada optimasi adam dengan learning rate 0,001. Pada data training didapatkan hasil akurasi sebesar 100% dengan loss function sebesar 5,22 × 10−5 yang berhasil mengklasifikasikan 14 tandan mentah dan 14 tandan matang. Pada data testing, didapatkan hasil akurasi sebesar 100% dengan loss function sebesar 0,000249 yang berhasil mengklasifikasikan 6 tandan mentah dan 6 tandan matang.