Ali Rahman memulai karier sebagai birokrat pada usia muda, yakni 22 tahun. 

Ia diangkat sebagai Kepala Seksi Pembangunan di Kecamatan Bahuga.

Pada waktu itu masih berada di bawah administrasi Kabupaten Lampung Utara, tepatnya pada 3 Mei 1993.

Saat itu, wilayah tersebut berada di bawah pembinaan Pembantu Bupati Lampung Utara Wilayah Blambangan Umpu.

Tiga tahun kemudian, pada 4 Juni 1996, ia berpindah tugas ke Kecamatan Blambangan Umpu dengan jabatan sama.

Ketika Kabupaten Way Kanan resmi terbentuk pada 27 April 1999, Ali Rahman mendapat penugasan sebagai Camat Pembantu di Kecamatan Way Tuba pada 27 Juni 2000.

Ia kemudian dipercaya menjadi Penjabat (Pj) Sekretaris Kecamatan Way Tuba pada 7 Februari 2001.

Serta merangkap sebagai Pj Camat Tuba pada Mei 2001.

Baca juga: Profil Ony Anwar Harsono, dari Komisaris Jadi Bupati Terpilih Ngawi 2024, Harta Rp57 M: Ini Asetnya

Tidak lama berselang, Ali Rahman ditunjuk sebagai Pj Camat Bahuga pada 9 Februari 2002.

 Pada 13 Juli 2005, Tamanuri, Bupati pertama Way Kanan hasil Pilkada, memberikan Ali Rahman tanggung jawab baru sebagai Kepala Bagian Umum dan Perlengkapan Sekretariat Daerah Kabupaten Way Kanan.

Kemudian, ia diangkat sebagai Kepala Dinas Pekerjaan Umum (Kadis PU) Way Kanan pada 28 April 2008, merupakan jabatan strategis dan bergengsi.

Pada 13 Agustus 2010, Ali Rahman dipindahkan ke Kabupaten Lampung Selatan dan menjadi Kadis PU di sana.

Faktor kedekatannya dengan Rycko Menoza SZP, putra Gubernur Lampung saat itu, Sjachroedin ZP, diduga turut memengaruhi perpindahan tersebut.

Setelah tiga tahun bekerja di Lampung Selatan, Ali Rahman diajak oleh Sjachroedin ZP untuk bergabung di Pemerintah Provinsi Lampung sebagai Kepala Dinas Bina Marga pada 3 Juli 2013.

Setahun kemudian, ia ditugaskan sebagai Kepala Badan Pengelolaan Lingkungan Hidup oleh Gubernur M. Ridho Ficardo.