Selanjutnya pada 1944, ia dipindahkan ke Magelang dengan Komandan Seksi I Batalton (Daidan) II Magelang. Ia juga sempat menajdi bagian dari Pembela Tanah Aiar (PETA) di Bogor.
BACA JUGA:Biografi Soepomo: Pahlawan Nasional yang Merancang Undang-Undang Dasar 1945
Setelah Indonesia memproklamasikan kemerdekaan, Ahmad Yani mencetaka sederet prestasi yang membuat pangkatnyaa di dunia militer terus naik.
Ahmad Yani sempat menyita senjata tentara Jepang di Magelang, sebelum diangkat menjadi Komandan TKR (Tentara Keamanan Rakyat) Purwokerto.
Pada Oktober 1945, Batalyon 4 yang dipimpin Ahmad Yani terlibat dalam pertempuran dengan pasukan Inggris di Banyubiru, Ambarawa, yang dikenang sebagai bagian dari peristiwa Palagan Ambarawa.
Dalam peristiwa tersebut, pasukan yang dipimpin Ahmad Yani berhasil memukul mundur pasukan Inggris ke Semarang dengan meninggalkan perlengkapan dan persenjataannyaa.
BACA JUGA:Biografi Hasyim Asy'ari: Pahlawan Nasional Pendiri Nahdlatul Ulama
Ahmad Yani yang cakap di bidang diplomasi membuat dirinya menjadi anggota dalam perundingana mengenai penentuan garis demarkasi antara daerah Republik Indonesia dan Belanda, sebagai bagian dari Perundingan Linggarjati, pada akhir 1946.
Atas jasa-jasa Ahmad Yani membuatnya diangkat menjadi Komandan Wehrkreise II dengan pangkat letnan colonel.
Ahmad Yani kembali memimpin pasukannya di sekitar Jawa Tengah pada masa Agresi Militer Belanda II (Desember 1948).
Jenderal Ahmad Yani juga pernah diserahi tugas bergerilya di Gunung Merapim Merbabu, dan Gunung Sumbing yang menyulitkan Belanda karena strategi peranga gerilyanya yang cerdik.
BACA JUGA:Biografi Pangeran Diponegoro, Pahlawan Nasional yang Berasal dari Yogyakarta
Kehebatan Ahmad Yani dan pasukannya diakui oleh Kolenel van Zanten, komandan pasukan Belanda untuk Magelang dan sekitarnya.
Setealah penyerahan kedaulatan dari Belanda pada akhir 1949, pasukan Ahmad Yani turun gunung dan kembali ke kota.
Usai Belanda angkat kaki, Indonesia menghadapi serangkaian pemberontakan yang datang dari dalam negeri.
Tahun 1950 Ahmad Yani selaku komandan brigade, berhasil menghentikan pemberontakan AUI yang dipimpin Kyai Somalangu.