張文舟出生于1912年，山西沁縣人。早年時期，他考入了馮玉祥創辦的西北軍陸軍軍官學校，接受了嚴格的軍事訓練與教育。在軍校讀書期間，張文舟接觸到我黨的地下黨員，在進步人士的影響下，他開始參加革命活動，并在1932年加入了我黨，成為一名光榮的黨員。

從軍校畢業后，張文舟進入西北軍基層任職，任職期間，他秘密從事兵運工作，引導周圍的進步青年走向光明。1933年夏天，張文舟參加了馮玉祥領導的抗日同盟軍，擔任了排長一職，并參加了對日作戰。同年冬天，在國民黨的干預下，抗日同盟軍失敗，張文舟離開同盟軍，進入東北軍，繼續從事兵運工作。

1935年，張文舟前往陜北，參加了紅軍。加入紅軍之后，他參加了鞏固發展陜甘邊革命根據地的反“圍剿”作戰。10月，中央紅軍到達陜北后，張文舟被調到紅十五軍團，跟隨紅十五軍團參加了西征等戰斗，壯大了陜北的革命武裝力量。

1937年，抗日戰爭全面爆發，陜北的紅軍主力改編為八路軍，張文舟也加入了八路軍，并擔任了八路軍后方總留處司令部參謀處作戰科科長，不久后他又改任八路軍留守兵團司令部參謀處處長兼作教科科長，期間，他協助參謀長謀劃組織留守兵團各部隊，做好戰備訓練工作，保衛了陜甘寧邊區，為免除前方將士的后顧之憂作出了重要的貢獻。

1942年，張文舟擔任了陜甘寧晉綏聯防軍司令部參謀處處長，此后他組織部隊進行軍事訓練，積極開展大生產運動，不斷提高了部隊的戰斗力，為保衛與建設陜甘寧抗日后方基地作出了突出的貢獻。

抗戰勝利后，張文舟擔任了陜甘寧晉綏聯防軍警備第三旅兼三邊警備區副旅長、陜甘寧晉綏聯防軍參謀長等職務，率部參加了鞏固擴大陜甘寧解放區的戰斗。西北野戰軍成立之后，他擔任了西北野戰軍參謀長，參與指揮了宜川戰役、扶眉戰役、蘭州戰役等西北戰場的主要作戰，為解放大西北作出了積極的貢獻。

新中國成立后，張文舟擔任了第二兵團兼甘肅軍區參謀長，參與指揮了剿滅國民黨參與部隊以及土匪的戰斗，鞏固了新生的政權，穩定了社會秩序。1950年，經過上級批準，決定以第二兵團機構為基礎組建摩托裝甲兵司令部，張文舟擔任了參謀長，1951年，摩托裝甲兵司令部改稱裝甲兵司令部，張文舟繼續擔任裝甲兵參謀長，同時，他也是裝甲兵的第一任參謀長。

任職期間，張文舟協助裝甲兵司令員許光達組建兵種機關，建立規章制度，開展各項業務工作，使得裝甲兵司令部的各項工作迅速開展起來。1952年，張文舟參加了抗美援朝，年底，他返回國內，仍然擔任裝甲兵參謀長。

在這之后，張文舟認真總結抗美援朝的經驗，利用這些經驗組織全軍裝甲兵部隊開展正規化訓練，提高了指戰員的素養，從而推進了裝甲兵部隊的現代化與正規化建設。1955年授銜時，張文舟被授予少將軍銜，成為開國少將。在這之后，張文舟又擔任了裝甲兵學院第一副院長，主持學院的實際工作。

在授銜之后的11年，也就是1966年，張文舟受到沖擊，身心受到極大的迫害。在那段艱難時期，他始終保持著革命樂觀主義精神，與造反派進行了不屈不撓的斗爭。十一屆三中全會之后，張文舟積極組織裝甲兵的各項建設，即使離休之后，也依然為裝甲兵的建設獻言獻策。晚年的張文舟主要生活在北京，于1986年因病去世，享年74歲。