Ia dan kawan-kawannya kemudian mendirikan Partai Gerakan Rakyat Indonesia (Gerindo) setelah Partindo bubar.
BACA JUGA:Biografi Muhammad Toha: Pahlawan yang Tewas di Peristiwa Bandung Lautan Api
Saat Jepang masuk ke Palembang, dirinya tampil sebagai dokter yang banyak mengoordinasikan tugas sosial dan pelayanan kesehatan bagi korban perang.
Ia juga membentuk kelompok sosial Penolong Keamanan Oemoem (PKO) agar masyarakat peduli dan tidak masa bodoh terhadap kesengsaraan akibat perang.
AK Gani dikenal sebagai Raja Penyeludup oleh Presiden Soekarno karena peran pentingnya pada perang Revolusi.
Saat itu, AK Gani memimpin Palembang pada tahun 1945-1946.
Pada awal kemerdekaan, Indonesia mengalami krisis termasuk Palembang. Pada masa inilah ia memainkan peran sebagai penyeludup.
Ia menyeludupkan beberapa produk hasil bumi, karet, dan kopi untuk barter dengan Singapura.
Dari hasil barter tersebut, ia dapat membeli senjata, amunisi pakaian, dan perlengkapan lain.
AK Gani dengan kepiawaiannya juga pernah menjabat sebagai Residen Pemerintah Bangsa Indonesia Keresidenan Palembang (1945), Koordinator Pembentukan Tentara Keamanan Rakyat (TKR) Sumatera yang merupakan cikal bakal TNI, Komandan Sub-komandemen Sumatera Selatan.
BACA JUGA:Kisah Pahlawan Wanita Nyi Ageng Serang, Sosok Tangguh Usia 73 Tahun Memimpin Perang
Selain itu, ia juga pernah menjadi Gubernur Muda Sub-provinsi Sumatera Selatan.
Saat menjadi gubernur, ia kembali membuka praktek dokternya yang sebelumnya ia kesampingkan akibat aktivitas militer dan politik.
Sebagai dokter, masyarakat mengenalnya sebagai dokter dengan suntikan maut.
Hal itu karena suntikannya terasa sakit namun efektif dan dipercaya cepat sembuh.