Saat ini monitoring lalu lintas khususnya dalam mendeteksi kecepatan kendaraan adalah dengan menggunakan radar atau speed gun yang masih memiliki beberapa kelemahan seperti harga yang mahal dan harus memiliki perawatan tertentu. Dalam beberapa tahun terakhir, penelitian tentang deteksi objek dengan menggunakan kecerdasan buatan dapat memudahkan para peneliti untuk dapat mengenali objek kendaraan dan melakukan perhitungan estimasi kecepatan pada sebuah data berbentuk citra. Dalam penelitian ini penulis menggunakan algoritma YOLOv3 untuk dapat melakukan deteksi objek kendaraan, melakukan perhitungan estimasi kecepatan dan pengenalan plat nomor kendaraan sedangkan untuk segmentasi karakter plat nomor kendaraan penulis menggunakan Optical Character Recognition (OCR) py-tesseract. Penelitian ini menggunakan dataset sebanyak 581 gambar dengan pembagian 5 kelas yaitu motor, mobil, bus, truk dan plat nomor kendaraan. Hasil penelitian menunjukkan bahwa algoritma YOLOv3 mampu melakukan deteksi objek pada data video yang diambil melalui Jembatan Penyeberangan Orang (JPO) jalan Slamet Riyadi dengan menggunakan custom model yang telah dilatih dan menghasilkan nilai mean Average Precision (mAP) sebesar 94,95%, sedangkan untuk hasil pengujian pada perhitungan estimasi kecepatan didapatkan akurasi tertinggi sebesar 100% dan akurasi terendah sebesar 73,34%. Pada hasil pengujian pengenalan plat nomor kendaraan didapatkan akurasi tertinggi sebesar 100% dan akurasi terendah sebesar 28,5%.