1950年1月19日晚上，時任遼東省（今在遼寧省和吉林省內）省委書記的張聞天像往常一樣打開廣播收聽，突然，他在廣播中聽到了自己的名字：

中央決定任命張聞天擔任中國出席聯合國會議的代表團首席代表。

聽到這則突如其來的任命，張聞天一時間不明所以，后來他才知道，中央的這項任命也是緊急討論出來的。當時有同志提議章漢夫擔任代表團首席代表，毛主席和周總理商量后認為，章漢夫在資歷方面有所不足，可以充當副手，首席代表的角色還是由資歷和能力更強的張聞天擔任為好。

后來，由于國際形勢發生了一些變化，張聞天改任新中國首任駐蘇聯大使。就這樣，張聞天從地方工作轉入外交戰線，并在外交戰線上工作了10年。

擔任駐蘇大使4年后，1954年，張聞天被任命為外交部副部長，成為協助周總理開展外交工作的主要外交官之一，這一年，張聞天和周總理一起參加了著名的日內瓦會議。

1955年，張聞天回到北京，擔任外交部常務副部長（部長由周恩來總理兼任），負責協助周總理主持外交部的日常工作。

來到外交部上班后，張聞天花費了很大的力氣，幫助外交部提高業務水平，他從改進外交部各司工作這個方面入手，對外交部各司的工作和業務進行了重新劃分和調整，其中，張聞天比較重視的，是禮賓司的工作。

張聞天對禮賓司的工作進行了認真的研究和總結，提出了“勤儉辦外交”的口號。張聞天認為，招待外賓的規格要和國際接軌，不可鋪張浪費，宴請應該簡單些。

對那些認為招待要通過吃海鮮，喝茅臺來表示中國的氣派的同志，張聞天指出：吃東西不一定要吃得太好，我的外交工作主要靠政策，不講吃，吃得再好，不支持你的還是不支持。招待的菜品沒必要搞太多，并不是所有外賓都習慣喝白酒，所以不必每次都上茅臺；有的外賓很害怕河豚中毒，所以不要每次都上海鮮；接待外賓時，出了一些重要時節和場景，應該減少夾道歡迎和贈送禮品的力度……

張聞天的要求是：樸素大方，既不寒酸，也不豪華。這些雖然都是小事，但凸顯了張聞天作為一個無產階級革命家的艱苦樸素、實事求是的品質。在張聞天的努力下，1956年2月，他主持起草了《關于交際活動中的一些問題》的報告，送周總理等審批。

如何做好外交工作呢？張聞天雖然是新中國的第一代外交家，但他的考慮和想法已經非常成熟了。他認為，我們“應該具備充分的信心和勇氣”，“要有站起來的中國人的氣派”，在外交中，我們不僅應該有明確的立場、鮮明的旗幟，還應該有適當的謙虛。只有把謙虛和自信結合起來，把原則性和靈活性結合起來，才能走出我們中國自己的外交道路。

張聞天的這些真知灼見，為我們后來的外交工作留下了一筆寶貴的遺產。

張聞天認為，對于朋友和兄弟國家，我們是應該發揮國際主義精神，對他們進行一點經濟技術援助，但也要注意量力而行。因為“我們自己的東西還不多，還窮，我們并不要和發達國家在這方面競爭。我們主要的，還是靠正確的外交政策和積極的對外政策來爭取伙伴。”

張聞天堅決反對“打腫臉充胖子”的行為，他指出，對外援助應該慎重和適當減少，否則人家上層一變，對這個國家援助的影響就打水漂了，實際收獲不大。

張聞天同時認為，在國內的工作上也應該盡量避免浪費。他曾向中央建議，每年的“五一”和國慶，不必都邀請許多外賓進行大規模的慶祝，也不必兩次都搞閱兵儀式，可以考慮減少或者取消。毛主席認為張聞天的提議是正確的，要他和賀龍元帥一起擬訂方案，后來我們就對這方面的投入進行了調整。

張聞天在外交戰線上十年的奮斗是卓有成效的。后來，中央在評價張聞天同志的一生時指出：

新中國成立后，張聞天同志在外交部門工作期間，注重調查研究，勤于分析問題。他關于堅持和平外交政策，努力為社會主義建設爭取和平國際環境的論述，關于駐外使館要以各國政府為主要工作對象、對外援助要量力而行、必須堅持勤儉辦外交等主張，至今仍然具有適用性和指導意義。