吕布调兵增援城南，曹操也调关羽、夏侯渊、夏侯惇军到城南与吕布对峙。吕布见敌势强大，派人到泰山联结山贼臧霸，求得帮助。
当时泰山有四大山贼，分别是臧霸、孙观、尹礼和昌郗。臧霸领军一万赶到下邳，一见曹军势大，不敢前进，就停驻在葛峄山北观望局势。吕布无奈，又派人送信到寿春请求袁术援军。臧霸不敢进攻，袁术援军未到，与曹操大战又耗军需，吕布只能往城里退。
这时陈宫献计说：“曹操在此将近三月，粮草将绝，将军率一军去截断曹操粮道，曹军恐慌，自然退兵。我固守下邳，一旦曹军攻你，我率军出城，如此里应外合可好？”吕布觉得有理，想通过一战扭转局势，那么臧霸和袁术自然发兵支援自己。
吕布归家向其妻交代情况。
其妻说：“为何让你出城，陈宫守城？陈宫当初跟随曹操，曹操待他甚厚，而他看情势不对就反水。今夫君在外，若情势有变，陈宫反水，我该去哪里？”
吕布说：“陈宫与曹操已结下死结，再不会和好，夫人可安居城中。我令高顺协助陈宫守城，等曹军一退，我誓与夫人相守再不分离。”
其妻说：“昔日在长安，李傕郭汜发动兵难，将军在外抵敌，我差点死于乱军之中，多亏庞舒舍命相救。今夫君外出抵敌，与妻子分别，一旦不利，哪再得庞舒舍命相救。”
吕布说：“高顺忠心，我令其护家小，他必死力相护。”
其妻说：“陈宫一向独大，不服高将军，这两人共同守城，夫君心安吗？再说自出长安以来，各地奔逃，没有居所，今得徐州，稍稍安定，将及两年。一旦失守，夫君又将去哪里？”
严氏这一席话说得吕布心中一冷，想起自己几年奔走，没有目标，不是靠着别人，就是被别人追着打。徐州地大，如能死守下邳，以下邳为基础，再与袁术联合，谁还敢欺凌自己。于是决定死守下邳，待曹操粮尽自然退去。
吕布下令各城墙加固城防，在墙头加高女墙，增设弓弩手，每边城墙再建弩台、战棚，多设床弩，抛石机，又在各城门外扩建瓮城，驱百姓在瓮城外挖深城壕，再驱城门外百姓入城。如此折腾半月余，吕布想这下邳城真是固若金汤了，就迁所有士兵入城防守。然后告示各府各军，城内一切军需物资，粮食供给按级别定额分配，任何人不得浪费，共同协力誓保下邳安然无恙。
陈宫又派人到各城门、府衙外墙张贴告示，说曹军一旦破城，定报当年徐州牧陶谦杀父之仇，血洗下邳。下邳百姓一听，都与吕布同仇敌忾起来。
城外的曹操见下邳被守得铁桶一般，攻了几次，死伤惨重，更兼葛峄山北臧霸虎视眈眈，扬州袁术不日率军支援。
曹操忙召集谋士、将领商议对策。
于禁说：“葛峄山北的臧霸暂时不敢轻举妄动，他在等待局势，我领一支军绕山监视，一旦臧霸有举动，我必歼之，主公放心。”
夏侯惇说：“刘备在龙亢的兵力不足，我怕他不是袁术对手，我派一支军助他防守袁术。我们再从许都调军，集中火力攻下邳。”
曹操说：“如果分兵防守，下邳的兵力就不足，调许都守军来此，又怕许都有危险------”
郭嘉沉吟半晌，说：“主公勿忧，臧霸虽受吕布诱惑与我为敌，然其迟迟未动手，可见其并无反心。主公可以朝廷名义写信一封给他，许他任泰山郡县尉，仍带兵守泰山。臧霸必不敢再与主公作对。袁术称帝惹了众怒，原乌程候孙坚之子孙策已在江东与袁术决裂，主公再以朝廷名义让他袭父爵，命他讨伐袁术，袁术必无心帮吕布。”
曹操一听，喜说：“好，如此甚好。”于是一边写信给臧霸，一边派荀攸持诏命出使孙策，任命孙策为骑都尉，袭父爵，讨伐袁术。
臧霸退兵回泰山，孙策要与袁术交兵，吕布在下邳得到密报后可谓是一夜愁白了头啊。吕布下令下邳全城戒酒戒色，戒走动，也就是白天街市不准贸易，夜晚百姓不准出门。除了士卒巡街，兵械打制，下邳城悄然无声。
如此情形可急坏了曹操，曹操忙召集谋士商议军情，最后决定关羽以少量兵力打西门，尽量拖住张辽，让他不能接应其他城门，夏侯惇、夏侯渊率军打南门，曹操亲自指挥军士决泗水，引其支流之水淹南门。
下邳城南地势低洼，泗水下游一堵住，上游之水就漫出河岸，都向城南渗去。水满过城壕，向城墙根漫延，城中的人心就开始动摇起来。文武官员们各为自己找退路，街面上骚乱起来。这时，城外不断有箭射来，箭并不伤人，箭尖上绑了细绢，上面都写了字，有的写着“抗拒朝廷，夷灭九族。”有的写着：“早投降，早得活。”有的写着：“跟吕布者死，顺朝廷者活。”还有的写着：“主动投降赏，顽抗朝廷死。”诸如此类。
吕布刚开始禁止百姓捡箭，可箭连续不断从城外射来，一连多天，无法禁止。城外的水又无休止地漫过来，居民不断往城中心退，如此情况，下邳城破指日可待。
下邳城中百姓恐慌，吕布一众手下恐慌不说，曹军中有一人也心绪不宁。这人就是关羽。原来关羽自从那天在河岸边见了杜琴母子，心中就担忧此母子安全，这是其一，还有，关羽之所以跟随曹操打下邳，其实是受了刘备之托，因为刘备的妻子被吕布抢走，关在下邳。
那天，曹操下令全力攻城，关羽赶紧离开西门，来到南门曹操中军帐。
曹操听说关羽求见，赶紧出帐迎接。关羽见了曹操，欲言又止。
曹操说：“云长有何要事，但说无妨。”
关羽迟疑了一会，想说，又没说，最后，拱了拱手，说：“曹公，大水淹城，遭殃的是百姓。城南住着无辜百姓，其中都是老弱------”
曹操说：“云长经历战争不少，竟有如此慈悲心肠，可敬啊！然战事一起，死人是不可避免的，我们的士兵也是百姓------”
关羽急的打断曹操说：“关某并不同情敌人，只是这下邳城中有------”
曹操说：“云长你话中有隐情，何不直说？”
关羽略一踌躇，红了脸说：“在张良祠中有一对母子，原是秦宜禄家眷，望曹公在城破日赏我，可好？”
曹操一听，笑了，说：“原来如此。云长所急之事，某心中有数，决不辜负云长啊！”关羽拱一拱手，调转马头走了。
曹操环视周围，见几个将士掩嘴笑，忙下令他们整军出发。