1916年6月，任昌輝出生在江西吉水的一個貧寒之家，生活的艱辛讓他無法上私塾，很小的時候就跟著父母一起干活，8歲時就開始到了一個木匠鋪當學徒，這樣不僅能吃飽飯，還能學到一門手藝。

1926年，在木匠鋪當了兩年學徒之后，10歲的任昌輝開始能獨自做一些木匠活，于是他就跟著同村的一位木匠老師傅一起，游走到各村去做木匠活，年少時的任昌輝生活過得十分艱辛，可謂是嘗盡苦楚。

1929年，13歲的任昌輝參加了農協，還參加了攻打吉安的戰斗，任昌輝知道紅軍是為老百姓的隊伍，于是在1930年初，14歲的任昌輝參加紅軍，成為了一名紅軍戰士，當時都喊他“紅小鬼”。

參加紅軍之初由于年紀小，任昌輝被分配到了紅12軍第36師的一個連隊里當通訊員，主要負責跑腿傳遞消息，后來由于表現出色，加上他的經驗越來越豐富，才被安排進入了戰斗班，他先后當過副班長、班長。

任昌輝參加了蘇區的歷次反“圍剿”戰斗，在龍崗戰斗、白沙戰斗和建寧等戰斗中，任昌輝作戰英勇多次立功，期間也多次負傷，有一次重傷差點犧牲了，傷愈后任昌輝被評為二等殘疾。

不過任昌輝仍堅持在前線繼續戰斗，他受到了組織的重點培養，被派往紅軍大學學習。在參加紅軍的多年里，任昌輝一直在堅持學習文化知識，經過紅軍大學的軍事學習之后，他的軍事素養有了更大的提升。

任昌輝從紅軍大學學習結束不久，就跟隨紅軍主力進行了長征，任昌輝是帶著傷走完長征的。抵達陜北之后，任昌輝被任命為陜甘寧干部教導大隊隊長兼教員，后被調往獨立一師擔任參謀長、團長。

紅軍改編為八路軍之后，任昌輝被編入了留守警備第7團，擔任第2營營長。1942年5月，任昌輝被調往晉察冀軍區第三分區擔任武裝部長、第2團團長，期間多次粉碎了日軍的“掃蕩”。

直到抗戰勝利，任昌輝一直在晉察冀軍區任職。抗戰勝利之后，任昌輝被調往東北戰場，擔任第9縱隊第27師師長，參加了錦州戰役、遼西會戰和營口戰役。1948年11月，任昌輝被任命第46軍第138師師長，隨后參加了平津戰役。

任昌輝跟隨隊伍南下，在長沙解放之后任昌輝沒有繼續南下，而是率部留在長沙負責警備任務，兼任長沙警備司令。新中國建立后，任昌輝被安排進入了武漢高級干部速成班學校，任昌輝被評為優秀學員。

1955年，任昌輝被評為少將銜，成為了新中國的開國少將。1956年3月，任昌輝被調任河南省軍區參謀長，5年后任昌輝被提升為河南省軍區副司令兼鄭州的衛戍司令。由于身體原因，1965年3月，任昌輝離職休養。

在大授銜之后，任昌輝只工作了10年，頗為遺憾。不過離休后的任昌輝仍心系我軍的建設工作，為軍隊的發展積極獻言獻策。晚年的任昌輝生活在鄭州，他撰寫了許多回憶錄，直到1989年病逝，享年73歲。