Pada tahun 2005, Rudy ditunjuk menjadi Kapolres Poso, Sulawesi Tengah.
Dia juga sempat menjadi Wakil Direktur Reserse Kriminal Umum Polda Metro Jaya pada 2007.
Rudy kemudian menjadi Kepala Densus 88 Anti-Teror Polda Metro Jaya pada 2007.
Selanjutnya Rudy diangkat menjadi Kapolres Metro Jakarta Utara pada 2009.
Rudy menjadi perwira menengah Densus 88 Anti-Teror Polri pada 2010.
Lalu, Rudy menjadi Direktur Pembinaan Kemampuan Badan Nasional Penanggulangan Terorisme (BNPT) pada 2010 sampai dengan tahun 2016.
Pada 2016 sampai 2018, Rudy menduduki jabatan sebagai Kapolda Sulawesi Tengah.
Setelah itu, ia diangkat menjadi Kepala Korps Brimob Polri pada 2018 pada era Tito Karnavian sebagai Kapolri.
Tahun 2019, Rudy diangkat menjadi Asisten Operasi Kapolri.