Kegiatan transportasi yang menggunakan fasilitas jalan raya merupakan salah satu jenis transportasi yang paling dominan dibandingkan dengan jenis tranportasi lainnya. Jalan raya bisa digunakan oleh siapa saja tanpa terkecuali, dengan beberapa aktivitas yang bisa dilakukan. Oleh karena itu, permasalahan transportasi yang sering dihadapi oleh pengemudi di jalan raya adalah kemacetan dan kecelakaan lalu lintas. dikembangkan sistem yang mampu mendeteksi lampu lalu lintas yang berada pada persimpangan jalan secara otomatis pada citra bergerak. Metode yang dapat diterapkan dalam proses deteksi lampu lalu lintas ini, salah satunya adalah dengan metode Deep Learning. Metode tersebut akan menggunakan Faster RCNN dengan arsitektur Resnet50, kemudian lampu lalu lintas dapat dikenali dan melakukan adapatasi atau penyesuain terhadap distribusi objek yang selalu berubah tiap pergantian frame dari video serta akurasi dalam sebuah citra digital. Sistem ini membutuhkan data berupa gambar lampu lalu lintas yang telah di anotasikan sebagai bahan training agar sistem dapat mempelajari dan mampu melakukan deteksi. Pengujian dilakukan terhadap dua data video yang memiliki intensitas cahaya yang berbeda dalam melakukan deteksi lampu lalu lintas. Hasil pengujian menggunakan Confusion Matrix mendapatkan tingkat akurasi dan FScore sebesar 68,5% dan 79,5%.