當日軍增援部隊即將抵達上海的關鍵時刻，由宋希濂率領的德械師36師于8月17日夜抵達戰場。與此同時，蔣介石調來當時中國僅有的戰車營，電令36師協同87師殲滅當面之敵。張治中將攻擊目標鎖定在防守相對薄弱的匯山碼頭。

8月19日下午5時，87師突入百老匯路。為擴大戰果，張治中決心截斷敵人左右兩翼聯絡，此作戰計劃被稱為"突破攻擊"。21日晚21時，張治中下令第四次進攻：88師在虹口佯攻；戰車一連配合36師108旅216團沿兆豐路與公平路推進；二連配合87師21旅52團向楊樹浦日租界推進；24式戰車連掩護步兵沖擊日軍陣地。

由于缺乏步坦協同經驗，坦克與步兵部隊推進脫節。日軍利用兩側樓頂火力點瘋狂掃射，導致步兵傷亡慘重。隨軍記者如是記錄道："都這個地步了，沖了15趟，但步兵跟不上，無法占領陣地。從第二次開始，敵人就把戰車封鎖后調回來，把戰車都打壞了，陸上犧牲慘重，海上也犧牲慘重。"正如后人所言："我們的抗戰是'一寸山河一寸血'，一點都不夸張。"

在215團、216團前赴后繼的猛攻下，36師終于沖過百老匯路，攻入匯山碼頭外圍。216團團長胡家驥身中五彈仍帶傷沖鋒。然而碼頭鐵閘門阻擋了前進道路，當士兵攀登鐵門時，日軍已在碼頭內部設置交叉火力網，216團遭受重大傷亡，被迫撤回。此戰暴露出巷戰中我軍經驗不足及缺乏重型武器的致命弱點。

與此同時，87師攻占兩處日商工廠，拔除滬東重要據點，但仍未突破公大紗廠防線。8月23日凌晨3時，36師再次發起沖鋒：以5輛戰車為前導，步兵跟進，于凌晨5時再度攻占匯山碼頭陣地。但日軍隨即投擲燃燒彈，整片碼頭陷入火海，數百將士葬身火海。36師被迫撤回唐山路一帶，三個營僅數十人生還。

盡管如此，中國軍隊連日攻擊已成功隔離日軍防御體系，將其主力壓縮至海軍陸戰隊司令部和公大紗廠等少數據點。若此時投入更多地面部隊，或可創造對列強軍隊的罕見殲滅戰。這個時刻，正是淞滬會戰期間中國軍隊最接近勝利的瞬間。

然而命運在此刻轉折。8月23日凌晨，日本陸軍第十一師團在獅子林和小川沙登陸，第三師團先頭部隊在吳淞登陸，上海派遣軍司令松井石根大將親臨指揮。為阻擊北面登陸之敵，張治中忍痛下令36師撤回。當浴血奮戰抵達匯山碼頭的216團三營接到撤退命令時，營長顧新偉悲憤難抑，幾欲拔槍自盡。

至此，中國軍隊在市區內的圍攻戰宣告結束，更慘烈的反登陸戰即將開始。