1908年8月，甘渭漢出生在湖南平江縣的一個貧寒之家，從9歲起他就沒能讀書，為了幫助家中減輕負擔，9歲的甘渭漢當起了放牛娃。在11歲時，他去了理發店當學徒，當了5年的理發工人，期間過得非常艱辛。

1926年，為了擺脫窮苦的處境，甘渭漢當兵參加了北伐。期間甘渭漢接受到了許多進步思想，于是在1927年7月他加入了我黨，并在第二年參加了平江游擊隊，參與了攻打平江的戰斗，甘渭漢作戰英勇。

1928年10月，平江游擊隊被編入了紅5軍，甘渭漢從此成為了紅軍戰士。由于甘渭漢表現出色，他在紅軍之中很快就得到了晉升，先后擔任過班長、排長和連長等職，參加了修水、安福和長沙等戰斗。

甘渭漢參加了蘇區的歷次反“圍剿”作戰，因功被提升為紅3軍團供給部政委，后被提升為團政治處主任。由于甘渭漢作戰勇猛，多次帶著戰士們沖鋒，也多次負傷，其中最為嚴重的一次是在滸灣戰斗中，他差點犧牲了。

當時甘渭漢身負重傷，好在他有著頑強的生命力被搶救了過來，在醫院養了一個多月才傷愈。1934年4月，甘渭漢被調往紅軍總政治部擔任干事，同年10月，甘渭漢跟著主力隊伍進行了長征。

1934年11月，甘渭漢被任命為紅23師政治部主任，一路上他親自帶著一個營的戰士擔負收容任務，挽救了許多負傷掉隊的戰友。在一方面軍和四方面軍會師之后，甘渭漢繼續跟隨一方面軍北上，最終抵達了陜北。

1936年夏，由于在保衛陜北根據地的戰斗中立功，甘渭漢被提升為任紅29軍政委，成為了軍級干部。在日寇全面侵華之后，紅軍改編為八路軍，甘渭漢被降級任命為八路軍后方留守處警備第2團政委。

實際上當時許多將領的職務級別都降低了，因此甘渭漢遇到的降職是部隊改編過程中的正常情況，而非是處分性質的降職。后來甘渭漢還擔任過八路軍第129師385旅副政委、政委等職。

甘渭漢參加了保衛陜甘邊的戰斗，還參加了根據地的生產建設工作，為抗戰勝利做出了貢獻。1946年，甘渭漢被調往冀魯豫軍區擔任政治部主任，后被提升為第三副政委，參與指揮了諸多戰役。

1949年2月，甘渭漢被任命為二野第5兵團政治部主任，參加了豫北、安新等戰役，為保障劉鄧大軍渡過黃河做出了貢獻，同時也配合了四野大軍南下，甘渭漢為解放事業做出了貢獻。

新中國成立之初，甘渭漢調任第20兵團政治部主任，后又升任東北軍區政治部副主任兼干部管理部部長。1955年3月，甘渭漢被任命為沈陽軍區副政委，同年大授銜被授予中將銜，兼任干部部部長。

甘渭漢為軍隊建設和軍中干部的選拔做出了貢獻，在1965年被調往成都軍區擔任第四政委。1967年，甘渭漢遭受錯誤對待，直到1972年10才恢復工作，出任沈陽軍區第二政委。

1980年1月，甘渭漢被任命為總政副主任，后來施行精簡整編，1982年時甘渭漢主動請辭，以推動精簡整編的落實工作，不過他的請求沒有被批準，直到1985年他的請求才被批準。1986年4月1日，甘渭漢在北京病逝，享年78歲。