3月27日，日军再度增派援兵，攻占了台儿庄要地文昌阁，代理团长王冠五组织72人的敢死队，效法辛亥革命黄花岗72烈士，突袭日军，与敌展开惨烈肉搏战巷战，夺回文昌阁，72名壮士生还58名，营长王祖献等14人牺牲。28日，日军切断了中国守军第31师师部与庄内的联系。该师师长池峰城指挥，以强大炮火压制敌人，并以仵德厚为队长，率领40人的敢死队，手抡大片刀，腰束手榴弹，与敌肉搏格斗，40人只有3人生还。
3月29日，蒋委员长来电指示“台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即存一兵一卒，亦须本牺牲精神，努力死拼，如果失守，不特全体官兵应加重罚，即李长官、白副总长、林次长亦有处分。”
徐州会战，身绑手榴弹的国军敢死队队员（左）和巷战（右）。（以上皆为网络图片）
至4月2日，台儿庄三分之二被敌占领，池峰城31师与日军已经血拼了7昼夜，官兵伤亡达7成以上。池峰城向集团军总司令孙连仲告急。孙连仲电话请示李宗仁可否暂时放弃台儿庄，退守运河南岸。李宗仁说：“胜负之数往往决定于最后五分钟”，严令孙连仲集团军守至次日拂晓，等待汤恩伯军团前来增援。孙连仲知军命不可违，对池峰城命令说：“士兵打完了，你就自己上前填进去。你填过了，我就进来填进去。有敢退过运河者，杀无赦！”
池峰城指挥所部以必死之决心，王冠五率所部坚守南关一隅，死拼不退，分组用大刀片、手榴弹向敌奋勇夜袭，反复冲杀，与敌搏杀至4月4日夜，将敌增援部队击退。
众志成城合围日军台儿庄大捷鼓舞全国军民
当孙连仲集团军与敌在台儿庄一带血拼时，李宗仁与白崇禧商量后，电令汤恩伯军团放弃攻击峄县、枣庄，立即赶赴台儿庄以北，向敌发动攻击；并急令作为总预备队的周碞第75军和黄光华21师加入作战。第一战区司令长官程潜也奉命赶到徐州督战支援。各路国军精诚团结，同仇敌忾，终于将进入台儿庄地区的濑谷支队完全包围。汤恩伯率第二十军团向城、爱曲地区，与日军坂本支队激战数日，使其救援濑谷支队的计划落空。
1938年4月3日，李宗仁下达总攻击令。汤恩伯军团（关麟征52军、王仲廉85军、周碞75军）在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领大部分街市。国军展开街垒战，逐次反击，肃清敌人。
4月4日，中国空军以27架飞机对台儿庄东北、西北日军阵地进行轰炸。广西两个中队分成两个梯队，从河南周家口机场起飞，经归德上空与战斗机三个梯队汇合，飞往徐州以北峄城，枣庄一带，轰炸敌军后续部队。
徐州会战主帅李宗仁、白崇禧赶到台儿庄附近，亲自指挥以孙连仲集团军为主的左翼兵团和以汤恩伯军团为主的右翼兵团大举反攻。国军激战4天，终于以劣势装备重创日军精锐师团的濑谷、坂本两个支队，歼敌近2万，缴获大批武器、弹药，粉碎了“皇军不可战胜”的狂言，赢得抗战以来第一次胜利大捷——台儿庄大捷。
美联社记者抢先向全世界宣布报导了台儿庄大捷的消息，并赞扬“台儿庄的胜利，是一次东方的坦能堡大会战”（第一次世界大战期间的坦能堡战役，1914年德军大败入侵德国的俄国军队）。
台儿庄大捷是日本自明治维新建立新式陆军以来的第一次战败，也是中国军队自“七･七卢沟桥事变”以来首次在战场上彻底击败日军精锐，一扫上海、南京、太原沦陷后的阴霾和悲观情绪，极大鼓舞了中国军民坚持抗战到底的信念，为保卫临时首都武汉，迁移转运抗战中心和战略物质，争取到三个多月的宝贵时间。
