Pertumbuhan jumlah kendaraan di Negara Indonesia sangat pesat dan hal tersebut menyebabkan timbulnya banyak masalah, diantaranya adalah masalah sistem keamanan parkir dan kontrol akses kendaraan bermotor. Dengan berkembangnya teknologi, plat nomor yang merupakan identitas dari suatu kendaraan dapat dideteksi secara otomatis oleh sistem dengan bantuan Digital Image Processing dan Artificial Neural Network.
Penelitian ini menggunakan metode Canny Edge Detection untuk mendeteksi objek plat nomor dalam gambar. Sebelum melakukan klasifikasi karakter pada plat nomor, distorsi perspektif yang ada pada gambar dapat dihilangkan menggunakan metode Planar Homography. Faster R-CNN digunakan untuk mendeteksi posisi mobil pada gambar dan mengklasifikasi karakter yang ada pada plat nomor.
Program hasil dari penelitian ini akan mendeteksi karakter plat nomor dan warna mobil pada gambar. Hasil pengujian dari dataset peneliti, akurasi deteksi karakter pada plat nomor mencapai 82,14% dan akurasi deteksi warna mobil mencapai 78,54%.