1925年12月，正當國共合作時期，國民黨中央執行委員會決定開辦國民黨中央政治講習班，以便為行將到來的北伐隊伍進軍湖南做準備。在這種情況下，我黨指示湖南黨組織選送一批人，到廣州參加學習。黃克誠聽到消息，也報了名。過一段時間，他被通知錄取了。

1926年1月，黃克誠來到廣州，參加政治講習班。這個班的生員和教師大部分都是湖南人，毛主席、鄧中夏、蕭楚女等人都經常到這里來上課。除了每天學習軍事理論課，還每人發一支槍，每天進行軍事訓練。生活非常艱苦，但黃克誠心里十分愉快。

黃克誠的愉快心情很快就受到了干擾。當時正值國共合作的高潮，但國民黨已開始有了反共的表示，1926年的“三·二O事件就是其中的一個突出事件。3月20日這天清晨，他正在酣睡之中，突然聽到周圍的樓上傳來嘈雜的腳步聲。他急忙起身，一看卻嚇了一跳，四周樓上站滿了荷槍實彈的士兵，槍口正對著政治講習班的宿舍。

原來，在這一天蔣介石造謠說中山艦要炮轟黃埔軍校，派兵逮捕一些共產黨員，并派兵到共產黨員較為集中的政治講習班監視，搞得講習班正常的學習和生活受到干擾。教員好幾天沒來上課。通過這件事，黃克誠深深體會到了革命斗爭的復雜性。

1926年5月底，以黃埔軍校部分學生為骨干、由共產黨員擔任各級領導干部的葉挺獨立團出兵湖南，揭開北伐戰爭的序幕。7月，國民革命軍正式北伐。因為北伐的需要，國民黨中央政治講習班提前結業，要求學員自己填報志愿。黃克誠表示愿意到軍隊做政治工作、并向黨組織遞交了申請書，得到同意。1926年6月下旬，他到北伐軍總政治部辦的訓練班，接受軍隊政治工作的短期訓練，隨后被編入北伐軍前敵政治部宣傳隊。

7月，北伐軍占領衡陽，接著又占領長沙。黃克誠與其他政工人員一起，向沿途群眾做了大量的政治工作，他們進行革命宣傳，張貼標語，散發傳單。沿途群眾也是敲鑼打鼓，鳴放鞭炮，熱烈歡迎北伐軍。

北伐軍接著北出岳陽，與吳佩孚手下的肖耀南部隊相遇交火。戰斗打響的時候，黃克誠正隨第八軍第四師第十三團行軍。他從來沒親身經歷過戰爭場面，聽到前面僻里啪啦的聲音象爆竹般響起，還以為是當地群眾鳴放鞭炮歡迎。后來看到槍聲越來越密集，子彈哩噢地從頭頂上飛過，他這才意識到這是打仗。當時他的心理非常緊張，他緊緊跟著別人一起行動。幸好旁邊有個戰場經驗豐富一些的同志，他一看黃克誠愣頭愣腦，于是帶著他一邊往前走，一邊囑咐他要沉住氣，別慌張。敵人的炮彈打來，他就拉住黃克誠臥倒在地。

戰斗結束后，黃克誠隨軍繼續前進。走到汀泗橋、賀勝橋一帶，葉挺部隊已打敗吳佩孚部隊。黃克誠經過戰場時，看到沿途滿地橫著的都是尸體。由于天氣炎熱，這些士兵的尸體已經腫脹腐變，發出難聞的臭味。黃克誠第一次身臨戰場，有些不忍看這些殘酷的場面，也是他第一次深刻認識到戰爭的殘酷性。

北伐軍接著占領了武漢，又向北往河南進發。不久，蔣介石發動了四·一二政變，大肆捕殺共產黨人。反共的風氣很快在武漢的北伐軍中盛行開來。武漢政府雖然表面上左，但各個實力派首腦都已決心反共了，搞得共產黨員和進步分子人人自危。

當時，黃克誠所在的第11軍第二師第四團正揮軍東進，到達安徽蕪湖一帶。他看到形勢危急，與組織失去聯系，又出于對舊軍隊的失望，決定離開這個部隊，去武漢找黨組織。

1927年10月，黃克誠只身來到武漢。武漢當時正處于一片白色恐怖之下，報紙上天天登載殺人的消息和共產黨員脫黨的啟事。他在街上四處轉悠，希望能碰到熟悉的同志，打聽黨組織的下落。因為他身上穿著國民革命軍的軍服，所以并沒有人注意他。

一天，他轉到江漢關附近的馬路上，忽然看見前面走來一個熟人。此人名叫何家興，四川人，是留法勤工儉學時入的黨。黃克誠與他在北伐的時候同在唐生智部共事，與他多次謀面，所以關系還不錯。黃克誠見到何家興，心中不禁大喜，一把拉住他的手，悄悄地說：“我是專為找黨組織而來武漢的，你知不知道黨組織的下落？”

何家興看到他，心里有些緊張，一句話不說，領著他到了一個偏僻處。黃克誠再次向何家興說明來意。何家興看了看四周無人，便身上掏出一個小本子，撕下一頁紙，匆匆忙忙寫了一個地址，然后很快遞到黃克誠手里，扭頭就走了。黃克誠后來再沒見過何家興。不過他以后聽人說，何最后在上海當了叛徒，被中共中央特科派陳賡將其處死了。但他給黃克誠的地址卻是真的，可能是他當時仍未變節。

黃克誠按照紙條上所寫的地址，找到了與黨組織的接頭地點，與組織接上了組織關系。那里的負責人問明他的住處。接著過了幾天，就有人找他聯系，交給他一封組織介紹信，介紹他到長沙找湖南省委，參加地方黨的工作。

黃克誠來到長沙，先在永興旅省同鄉會的公寓里住下，然后就去找湖南省委。他找到接頭地點，幾個人正圍在那里打麻將。他湊上去看了一會兒，與那里的人接上了話頭，就與組織取得了聯系。過了幾天，有人又給他送來一封組織介紹信，介紹他到衡陽找湘南特委。

于是，他又馬不停蹄到了衡陽。找到接頭地點，那里的人一看他一身國民黨軍裝，產生了懷疑，不肯與他接頭。他很是著急，三番五次去找，那里的人都不理睬。他無奈之下，只好回到了家鄉永興，開始了大革命失敗后的地下活動。

幾年的革命斗爭，使黃克誠深深體會到，革命的道路是曲折的，革命過程中有可能出現反復，有時可能遭受重大挫折和失敗。但是，對于革命的勝利，他從來都不曾懷疑過。