Tanaman sawi hijau banyak dibudidayakan dan dikonsumsi oleh masyarakat di Indonesia. Namun, seringkali hasil panen tanaman sawi hijau menurun dan kualitas tidak sesuai dengan yang diharapakan, hal ini terjadi karena tanaman sawi hijau menghadapi serangan hama berupa ulat. Pengendalian hama ulat pada tanaman sawi hijau membutuhkan usaha yang lebih daripada pembudidayaan tanaman sawi hijau. Petani sawi hijau terkadang tidak mampu membedakan hama ulat dengan hama yang lain, selain itu mendeteksi hama ulat di tanaman sawi hijau dengan mata telanjang terkadang tidak efisien dan kontraproduktif. Algoritma Convolutional Neural Network (CNN) merupakan salah satu algoritma yang banyak digunakan untuk mendeteksi tanaman yang terjangkit penyakit ataupun hama. Penelitian ini menerapkan algoritma CNN dan merancang sistem deteksi hama untuk tanaman sawi hijau. Proses pelatihan data menggunakan 2 kelas yaitu Data Sawi Ada Hama dengan 499 citra dan Data Sawi Tanpa Hama dengan 500 citra yang diambil dari website. Hasil yang diperoleh menggunakan Model CNN yang terdapat 4 layer memiliki akurasi sebesar 92%, model CNN and VGG16 menghasilkan akurasi sebesar 98%, model CNN and Xception dan model CNN and MobileNetV2 dengan akurasi sebesar 100% dan model CNN and ResNet50V2 menghasilkan akurasi sebesar 99%. Akurasi yang telah diperoleh pada tiap model didapatkan melalui hasil pengujian akurasi menggunakan Confusion Matrix. Berdasarkan hasil dari penelitian yang dilakukan, model-model mampu dalam melakukan deteksi hama di tanaman sawi hijau dengan akurat dan dapat diimplementasikan ke dalam Sistem dengan framework Flask.