Cabai merupakan salah satu jenis sayuran yang memiliki nilai ekonomi tinggi. Cabai dengan jenis yang paling banyak beredar di Indonesia antara lain cabai rawit, cabai hijau, cabai besar dan cabai keriting. Tingkat kebutuhan cabai sebagai bahan pangan menjadi sangat tinggi, hal ini disebabkan cabai menjadi bahan utama berbagai produk makanan, antara lain saos cabai, bubuk cabai hingga manisan cabai. Umumnya, untuk mengidentifikasi jenis cabai masih dikerjakan secara manual, identifikasi yang dihasilkan pun beragam, karena itu penelitian ini membuat sistem identifikasi jenis cabai yang dapat di implementasi pada robot penyortir. Pada sistem ini, citra cabai diakusisi dengan beberapa algortima pengolahan citra agar dapat diklasifikasikan menjadi 5 kelas yaitu cabai rawit, cabai besar merah, cabai besar hijau, cabai hijau, dan cabai keriting. Algoritma yang dibentuk mengunakan deteksi ROI kemudian dilakukan transformasi ruang warna dari RGB ke HSV. Segmentasi yang dipakai pada sistem addalah Thresholding pada HSV channel S. Ekstraksi fitur yang digunakan meliputi fitur warna Color Moments dan fitur bentuk berupa Boundary, Aspect ratio, dan Area ratio. Algoritma klasifikasi menggunakan K-Nearest Neighbor (KNN) dengan parameter jarak Euclidean, Manhattan dan Mahalanobis dengan nilai k=1, k=3, k=5, k=7, k=9 dan k=11. Data yang digunakan 300 data citra, terdiri dari 210 data citra latih dan 90 data citra uji. Hasil pengujian mendapatkan precision, recall, dan akurasi tertinggi pada metode Manhattan dan Euclidean sebesar 100% pada jarak k=1 dan k=3, sedangkan akurasi terendah terdapat pada metode Mahalanobis yaitu sebesar 78,89% pada akurasi k=11 dengan citra latih sebanyak 210 dan citra uji sebanyak 90 citra berdasarkan hasil pengujian. Kata kunci : Color Moments, Tresholding, K-Nearest Neighbor, Euclidean, Manhattan, Mahalanobis.