1938 年 2 月上旬，當南線戰場中日兩軍正在蚌埠地區淮河南岸進行激烈的渡河攻守戰斗時，第五戰區為防止北線日軍乘機南下，遵照軍事委員會的意圖，采取以攻為守的戰術，于 2 月 6 日命令第 3 集團軍向濟寧、第 22 集團軍向鄒縣、第 3 軍團向蒙陰發動攻勢。各部分別進行了反擊的準備。

第 3 集團軍當時仍防守于魯西南地區，總司令部位于曹縣，第 12 軍駐定陶、城武地區（其第 28 旅在東平、長清一帶活動），第 55 軍駐金鄉（總司令部直屬之劉耀庭部游擊隊在汶上以北的袁口、鐵廟鎮一帶活動）。代總司令孫桐萱接受的任務主要是以主力攻占濟寧，以一部攻占汶上，爾后向濟寧、兗州間實施側擊，策應主力作戰；目的是確保隴海鐵路的安全和威脅沿津浦路南下日軍的右側翼，相機切斷津浦鐵路之交通。

日軍于 1 月 4 日占領兗州、曲阜，6 日占領鄒縣，11 日攻占濟寧。此時，濟寧日軍為第2 軍第 10 師團第 8 旅團的第 39 聯隊主力，約 1500 人，大部控制于南關，城中守衛部隊約400 余人；汶上日軍為第 39 聯隊的第 3 大隊，約 500 人。第 8 旅團主力與第 10 師團司令部位于兗州。孫桐萱于 2 月 10 日下令，命第 55 軍由金鄉向濟寧南關之敵進攻；命第 12 軍的第 22 師由定陶經巨野、嘉祥迂回至濟寧以北的二十里鋪附近，爾后向濟寧北門進攻，協同第 55 軍收復濟寧城；命第 81 軍對汶上之敵進行襲擾。規定 2 月 12 日拂曉前到達進攻出發地位，12 日開始進攻。曹福林的第 55 軍派出一部兵力前進至濟寧西南安居鎮附近運河西岸，進攻開始時僅以第 171 團及第 439 團各一部渡河，向濟寧火車站及西關等地進行襲擾，并未以主力實施進攻，不久即為日軍擊退。

谷良民的第 22 師到達嘉祥以東的運河西岸后，部署以第 64 旅為主攻部隊，第 66 旅為預備隊，隨師部控制于運河西岸。

第 64 旅由大長溝通過運河木橋，于 12 日拂曉前到達進攻出發地位；第 127 團控制于二十里鋪，掩護主力進攻，對汶上日軍進行警戒；第 128 團及第129 團秘密配置于濟寧北關兩側，旅部推進至興文鎮。根據事先偵知的情況，本來預定天明后以小分隊化裝成居民潛入城內，然后發起進攻，里應外合，控制城門，殲滅城內日軍。但日軍已有覺察，當天未開東、西及北城門。第 64 旅旅長時同然急令北關的兩團改為攀城強攻。

12 日 22 時左右開始用長梯多路同時攀城進攻，傷亡甚重。后在西北城角處擊坍一段城墻，約有 9 個連從缺口突入。日軍第 39 聯隊大佐隊長沼田多稼藏將主力調入城中增援，首先以反沖擊控制了城西北角的缺口，切斷城內外中國軍隊的聯系，然后向突入城中的部隊發起圍攻。雙方在北大街及城西北隅關帝廟一帶展開了激烈的肉搏巷戰，逐屋爭奪。突入的部隊孤軍奮戰，彈藥及人員均得不到補充，血戰一日夜，至 14 日拂曉，9 個連的勇士全部壯烈犧牲。在城北的第 64 旅殘部，13 日 23 時接到孫桐萱令其向運河西岸撤退的命令，在當地群眾協助下，從北關外小道通過沼澤地轉移至運河東岸，由第 66 旅接應，用民船渡過運河，到達西岸。

掩護撤退的后衛營損失較大，營長戰死；負責接應的第 66 旅旅長薛明亮亦中彈負傷。第 3 集團軍實際參加進攻濟寧戰斗的不過 1 各旅的兵力。在人員不占真正優勢、武器裝備處于絕對劣勢的情況下實施攻堅戰斗，雖然廣大愛國官兵拼死奮戰，仍不可能實現軍事委員會及第五戰區的戰略企圖。展書堂的第 81 師于 12 日夜開始進攻汶上城，一度攻入北關，受日軍猛烈火力襲擊，傷亡甚重。由于濟寧方面的第 64 旅已撤回運河西岸，第 81 師亦主動撤至開河鎮附近，沿運河之線防守。

2 月 17 日，日軍第 2 軍參謀長鈴木率道少將按照軍司令官的意圖，指示第 10 師團師團長磯谷廉介，令第 8 旅團旅團長長瀨武平少將指揮以步兵約 4 個半大隊、山炮兵 1 個中隊為基干的“長瀨支隊”，于 20 日開始向運河防線的中國軍隊發起進攻。經 5 日戰斗，25 日日軍突破運河防線，26 日攻占嘉祥。日軍占嘉祥后留一部兵力防守，主力集結于濟寧。第 3集團軍在逐次抗擊后，撤至巨野、獨山鎮、大義集、孟家屯、相里集之線防守。在第 3 集團軍向濟寧、汶上進攻的同時，第 22 集團軍也開始向鄒縣之敵實施進攻。第22 集團軍于 1938 年 1 月上旬由隴海路的商丘、碭山地區轉移至滕縣、臨城地區，以阻止因韓復榘擅自撤退而得以輕易、迅速進至鄒縣地區的日軍。

第 45 軍的第 125 師在界河東西之線占領陣地，第 127 師隨軍部控制于滕縣地區，第 41 軍、第 124 師的第 372 旅擔任滕縣城防，第 370 旅配置于滕縣西北的深井掩護第 125 師陣地左側背，師部位于利國驛；第 41 軍第 122 師為總預備隊，隨總司令部位于臨城地區。當時鄒縣日軍為第 2 軍第 10 師團第 33旅團的第 63 聯隊，有 1 個大隊在兩下店占領前哨陣地。2 月上旬，第 22 集團軍接到向鄒縣之敵進攻的命令，孫震立即開始準備。[46]由于該部減員太多且裝備低劣，無力組織大規模的進攻，因此令第 125 師的第 737 旅由界河進攻兩下店，令第 127 旅的第 575 團挺進至鄒縣、曲阜間，在敵人后方進行游擊襲擾。2 月 14 日，第 737 旅以第 746 團、配屬地方抗日紅槍會數百人擔任主攻，以第 745 團占領鐵路及郭山進行掩護。第 746 團命第 3 營對兩下店實施夜襲。

兩次襲擊均被擊退。16日下午，又以第 1、第 2 營實施強攻，以第 3 營為預備隊。

經激烈戰斗，于傍晚沖入村中，占領了兩座樓房。但在日軍猛烈的火力襲擊下傷亡過半，被迫于拂曉前突圍，退至郭山。17日 14 時，兩下店日軍開始反擊。在進行了反復爭奪后，第 737 旅于 18 日退至香城、普陽山一線，與日軍對峙。奉命滲入敵人后方的敵 575 團，在當地抗日武裝及人民群眾的積極配合、支援下，于 2月 11 日進至曲阜以南的九龍山一帶。14 日，在鄒縣至曲阜公路兩側的小雪村、鳧村附近，先后以伏擊戰消滅了兩批日軍，擊毀汽車 4 輛，擊斃日軍第 10 師團少將軍官 1 名、士兵 30余人。15 日，日軍由曲阜、鄒縣對進合擊。第 575 團東撤至距鄒縣約 16 公里的田黃鎮，爾后返回滕縣防地，歸還建制。龐炳勛的第 3 軍團于 1938 年 2 月上旬從海州調至臨沂，中旬集結、布防完畢。日軍第5 師團于 1 月 4 日攻占蒙陰、沂水，10 日攻占濰縣。同日日本海軍登陸占領青島。

此時諸城亦為日軍占領，第 3 軍團未能實施攻勢作戰即構筑工事，向蒙陰、沂水、諸城方向警戒。2 月 21 日，日軍第 5 師團依照軍參謀長 17 日關于以 1 各支隊配合低 10 師團的作戰、向沂州方面前進的指示，派第 21 旅團的第 21 聯隊由濰縣乘車南下進攻莒縣。當時莒縣地區僅有劉震東的第一游擊隊及沈鴻烈的海軍陸戰隊，力量不足。第五戰區遂電令第 40 軍派軍支援。龐炳勛乃令第 115 旅配屬 2 門山炮往援。該旅于 2 月 26 日到達莒縣附近，但莒縣已于 23 日失守，劉震東犧牲，海軍陸戰隊已轉移至高里附近。這時日軍以坂本順少將的步兵第 21 旅團為基干組成的坂本支隊正西進準備進攻臨沂。

坂本支隊的編成為：步兵第 11 聯隊（欠 1 個大隊），步兵第 21 聯隊，步兵第 42 聯隊的 1 個大隊，野炮兵第 5 聯隊，山炮兵 1個中隊。27 日，日軍坂本支隊向第 115 旅發起進攻。經兩日戰斗，第 115 旅雖然頑強抵抗，但人力、火力均處于劣勢，且傷亡又大，不得已主動炸毀 2 門山炮后于 29 日下午后撤，3 月 2日退回相公莊整頓。日軍尾隨第 115 旅追擊前進，于 3 月 5 日攻占湯頭。當其繼續向白塔主陣地進攻時，遭到第 39 師防守部隊的堅決抗擊。龐炳勛組織了反擊，由左、右兩翼向敵人側后迂回。日軍被迫退回湯頭，暫時形成對峙。