1928年正在為蔣介石和日本人進行談判的黃郛突然接到蔣介石的電報，老蔣在沒有通知黃郛的情況下，已經免去了他外交部長的職務。得到這一消息的黃郛如遭受晴天霹靂。他怎么也沒有想到自己這邊還在為蔣介石做事，人家那邊已經將自己撤職。后來黃郛給張群的信中寫道：濟案所受刺激，公私兩項皆為生平未有之傷心事……實令我沒齒不能忘。

濟南事件
1928年重新上臺的蔣介石再次開始北伐，如今的北伐戰爭局勢只剩下東北奉系軍閥一家。在北伐軍的各方合力之下，討伐奉系軍閥的戰斗也是節節勝利步步推進，很快就攻克了濟南。
北伐軍的順利作戰引起了日本人的高級警覺，他們認為按照北伐軍目前的形勢，一旦戰勝奉系軍閥，將會對自己在東北乃至中國的整體利益產生巨大威脅，因此他們必須阻止北伐軍繼續北上。
于是在1928年的5月1日日軍悍然向濟南城進行了武裝攻擊。當時濟南城中不僅有的黃郛、蔣介石，還有剛剛從泰安車站趕過來的馮玉祥。這幾位可以說都是當時南京政府中的大人物，一旦產生什么意外，后果不堪設想。
很明顯日本人制造的這一事件只想立威，警告南京政府謹慎行事。在此過程中，中國軍民共被日軍打死打傷四千七百余人，蔡公時等十余名外交人員也遭到殘殺。在一個主權國家境內竟然發生這樣的惡性事件，真是前所未聞，令人發指。
面對日本人的行為，蔣介石，黃郛和馮玉祥這三位坐在一起商議對策。馮玉祥是西北軍閥出身，當時就表示要以牙還牙，先將對方俘虜了再說。而蔣介石則心思深遠，他自認目前的北伐軍還不是日本人的對手，如果直接產生沖突必將授日本人以把柄，甚至會直接干擾北伐軍征討奉系軍閥的進程。
黃郛作為當時的外交部長，對蔣介石說日本人此舉主要不是為了產生沖突，意在警告。所以他建議可以和日本人進行接觸談判，通過外交的手段解決此次爭端，而北伐軍繞道繼續北伐。
黃郛此言正中蔣介石下懷，于是他便同意了黃郛的建議，讓黃副前去和日本人談判。但是耐人尋味的是蔣介石特別叮囑到讓黃郛以個人名義前去行事，不要聲明代表他蔣介石。
背后一刀
蔣介石的叮囑自然有他自己的打算，他深刻知道在當時的南京政府中很多人還是血氣方剛的，面對日本人制造的此次事件，眾人必將要求展現強硬態度。
如果讓他們得知黃郛是代表著他蔣介石的態度前去和日本人進行交涉談判，必將再次削弱蔣介石在國民黨政府中的聲望，也會讓政府中反對他的人再次有機可乘。
果然如同蔣介石所設想的一樣，濟南事件在當時中國引起了巨大反響，國內輿論紛紛指責日軍的蠻橫無禮，要求政府對日進行強硬還擊。
而當國內得知黃郛此時正在和日軍進行協調談判時更加怒不可遏，紛紛指責黃郛軟弱無能，甚至認為他為賣國之人。
蔣介石見到國內輿論如此激烈，而南京政府內的指責也甚囂塵上，于是他和馮玉祥坐在一起商議對策。
蔣介石說到目前黨內對黃郛的意見頗大，不知該如何處置。而馮玉祥則趁機說不如將黃郛外交部長的職務交給王正廷來做。蔣介石一聽也心知肚明，這個王正廷正是馮玉祥麾下的心腹，馮玉祥這一建議看似為自己解決，實際上也是在替自己謀利益，但是此時黃郛在國內輿論中已經處于非常被動的位置，目前來看也只能犧牲他來保全大局。
于是在黃郛還在濟南替蔣介石跟日本人進行周旋的時候，卻突然收到蔣介石的電報。蔣介石在電報中告訴黃郛他即日已經被免除了外交部長的職務。得知消息的黃郛無比震驚，自己在這邊替他蒙受巨大壓力和日本人進行談判，他這邊卻反手捅了自己一刀，免除了自己的職務，將所有問題都推到了自己的頭上。
黃郛在震驚失望之下給張群的書信中這樣寫道：濟案所受刺激，公私兩項皆為生平未有之傷心事……實令我沒齒不能忘。
心灰意冷的黃郛于是干脆辭掉了在南京政府中的所有職務。但是黃郛和蔣介石的關系不僅是上下級那樣簡單，他更是當初蔣介石在日本的拜把子二哥。
雖然黃郛對自己這位把兄弟的行為極其的難過傷心，但是在不久之后他又為了這位兄弟的請求再次出山。