解放戰爭時期，張文舟是彭德懷的左膀右臂，也是他的愛將之一。西北野戰軍成立的時候，彭德懷任司令員兼政委，張文舟是參謀長。當時西野的總兵力只有兩萬余人，而對手胡宗南卻有數十萬精銳中央軍。雙方在兵力和武器裝備等方面存在著巨大的差距，這種情況下如果一味和敵人死打硬拼顯然是不行的。

張文舟是科班出身的參謀長，軍事素養和參謀水平都很高。他結合陜北的地形特點和敵我雙方的實際情況，決定以“蘑菇”戰術應對胡宗南的進攻。利用敵人急于和我軍決戰的心理，以精干的小部隊偽裝成主力，牽著敵人的鼻子在黃土高原的溝溝坎坎中打轉轉，將敵人拖疲拖垮。等敵人精疲力盡的時候，主力再突然殺出，選擇一路敵軍加以殲滅。

這個戰術打法收到了很好的效果，短短一個多月內，西北野戰軍就接連取得了青化砭、羊馬河和蟠龍三場戰役的勝利，消滅敵軍14000多人，并活捉了被胡宗南稱為有“雄才大略”的整編167旅旅長李昆。同時還繳獲了一萬多袋面粉、4萬多套軍服和大量的槍械彈藥。這對于物資補充極為困難的西北野戰軍來說，是一個很大的收獲。

這三場戰役中，張文舟展現出的謀略給彭德懷留下了很深的印象。之后他又協助彭德懷組織實施了隴東、三邊、沙家店、黃龍和延清等戰役戰斗，接連取勝。沙家店戰役中更是重創了胡宗南手下頭號悍將鐘松，極大提振了部隊的士氣。1948年2月下旬，西北野戰軍發起宜川戰役。

宜川的戰略地位十分重要，守敵的兵力卻有限，彭德懷和張文舟等人商議后，決定圍城打援，進一步消滅胡宗南的有生力量。1948年2月22日，許光達的3縱和羅元發的6縱奉命向宜川發起猛攻，掃清外圍據點后將宜川包圍，敵人一面頑抗一面向胡宗南求援。為了給宜川解圍，胡宗南派出了手下另一名大將時任整編第29軍軍長的劉戡。

當時劉戡要增援宜川有三條路可以走，一是由洛川經瓦子街到宜川。這是條大路，便于大部隊行動，距離又近，但瓦子街以東有一段道路十分狹窄，容易遭到伏擊；第二條路是從洛川出發，經黃陵和黃龍等地后到達宜川。這條路的增援距離是第一條路的兩倍；最后一條路是走進士廟一帶的山路。

劉戡究竟會走哪條路誰也說不準，而西北野戰軍的兵力又有限，不可能在這三條道路上都布下伏兵。張文舟對胡宗南很有研究，認為在救兵如救火的情況下，他極有可能命令劉戡走瓦子街這一條路。彭德懷的判斷也和張文舟相同，于是西北野戰軍在瓦子街布下了重兵。同時也做出了劉戡萬一走另外兩條路的預案。

果不出張文舟和彭德懷所料，劉戡還真就走了瓦子街這條路，結果一頭撞進了我軍的伏擊圈，被消滅了29000多人，劉戡也兵敗自殺。宜川大捷之后，西北戰場上的局勢被徹底扭轉，胡宗南雖然兵力還占據優勢，但已由進攻轉入了防御。戰后彭德懷專門對張文舟提出了表揚。

兩個多月后，西野發起了西府隴東戰役，直取胡宗南的后方物資補充基地寶雞。為了阻擋敵人可能出動的援軍，彭德懷命令羅元發的6縱在長武和彬縣一帶阻擋馬繼援；王世泰的4縱在岐山一帶阻擋裴昌會兵團。結果6縱沒能擋住馬繼援騎兵的沖擊，丟掉了長武和彬縣。羅元發將戰況用電臺向彭德懷做了匯報，得到同意后率部向寶雞前進，準備和主力靠攏。

此時4縱方面一直沒有消息，按理來說寶雞有大量的軍需物資，胡宗南不可能不派兵增援。出于穩妥考慮，在4縱沒有報告的情況下，張文舟作為參謀長應該主動給王世泰去電，詢問一下戰況。但當時一縱和二縱剛剛占領寶雞，繳獲了足夠西野全軍使用兩年以上的軍需物資。張文舟忙于組織部隊換裝，沒有及時詢問4縱的戰況，只是主觀認為既然王世泰沒有匯報，那肯定就是守住了。

不料這次張文舟的判斷卻出現了嚴重的偏差，4縱根本就沒能擋住裴昌會兵團的沖擊。在有電臺的情況下，沒有給上級報告，也沒有通知友鄰部隊，不打招呼就擅自撤退了。結果一縱和二縱差點被裴昌會兵團堵在寶雞城內，此時青馬騎兵也不斷逼近，西野處在了極為不利的地步，只得放棄寶雞撤退。途中多次和敵人激戰，付出了15000余人的傷亡代價才回到了解放區。

西府隴東戰役失利后，彭德懷做了深刻的自我批評，4縱司令員也受到了嚴厲批評，時任4縱警備第3旅旅長的黃羅斌被調離野戰部隊，來到地方部隊任職；時任警備第3旅5團團長的郭應春被撤職，降為普通戰士。參謀長張文舟未能及時掌握4縱的戰況和動向，對戰役的失利也負有不小的責任，由西野參謀長降為4縱參謀長。

1949年年初，西北野戰軍改稱第一野戰軍，張文舟出任一野第二兵團參謀長，跟隨部隊參加了許多重要的戰役和戰斗，為解放大西北作出了重要貢獻。新中國成立后，張文舟出任裝甲兵參謀長，并參加了抗美援朝戰爭，擔任過志愿軍代參謀長，1952年被定為正軍級，1955年調任南京軍事學院裝甲兵系主任。

1955年大授銜的時候，張文舟在擬授中將名單當中。紅軍時期他擔任過軍參謀長，八路軍時期擔任過副旅長，解放戰爭時期擔任過西野參謀長，新中國成立后擔任過裝甲兵參謀長和志愿軍代參謀長，加上他陜北紅軍出身的加成，張文舟完全夠得上中將的標準。

當時彭德懷負責一野系統中將的評定，他對自己和部下都要求極嚴，他的親侄子彭起超在大授銜的時候就硬被他壓低了一級軍銜，彭起超當時想不通，后來才理解了伯父。當彭德懷看到張文舟在擬授中將名單中后，認為他對西府隴東戰役的失利負有一定的責任，而且加入紅軍隊伍的時間也比較晚，授中將有點高，就把他從擬授中將的名單中去掉了。最終張文舟被授予少將軍銜，他也是四大野戰軍7名參謀長當中唯一的一名少將。1986年，張文舟將軍病逝，享年74歲。