Kerusakan jalan merupakan suatu keadaan yang sering dilihat di kehidupan sehari-hari. Kerusakan jalan dapat terjadi di mana pun, bahkan di negara maju kerusakan masih dapat terjadi. Faktor penyebab terjadi kerusakan adalah air hujan, perubahan suhu dan cuaca, temperatur udara, material konstruksi pada jalan, kondisi tanah dasar pada jalan, proses pemadatan di atas lapisan tanah dasar yang kurang baik, dan bobot kendaraan yang lewat lebih dari batas. Jenis kerusakan jalan yang paling sering ditemui adalah jalan berlubang (pothole). Jalan berlubang sangat mengganggu pengguna jalan, bisa menyebabkan kecelakaan bahkan meninggal di tempat akibat terjatuh karena tidak sadar ada jalan berlubang. Kerusakan jalan dapat berbahaya jika tidak dilakukan deteksi atau penanggulangan sehingga jalan akan menjadi semakin rusak. Deteksi kerusakan jalan bisa menggunakan media citra atau sensor tertentu pada kendaraan atau smartphone. Penelitian ini menggunakan media citra dengan memanfaatkan metode Faster R-CNN untuk melakukan mendeteksi kerusakan jalan. Penelitian ini juga menemukan bahwa dengan menggunakan backbone MobilenetV2 memiliki nilai mAP terbaik yaitu 79,7%. Kata kunci : Faster R-CNN, lubang, kerusakan jalan.