此时张辽对左右说：“不可乱动。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。于是传令军中，只要不是反乱者安坐勿动。而张辽则带领亲兵数十人，守立于阵中。不久情况稳定下来，军中随即擒获首谋者，并将其杀除，动乱亦告平定。
赤壁之战时曹操徙赵俨为都督护军，护于禁、张辽、张郃、朱灵、李典、路招、冯楷七军。
建安十四年{公元209年}，庐江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命张辽督领张郃、牛盖等讨伐陈兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山{在后世为安徽省潜山县}中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“这正是所谓‘一与一，勇者得前耳’{只有勇者可以前进}。”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军{张辽}的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年{公元213年}，与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年{公元214年}，孙权大将吕蒙奇袭攻下庐江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年{公元215年}，曹操往征张鲁，先教护军薛悌，付其一书署名急函往合肥予张辽，上有字样云“贼至乃发”{贼军来到便拆信阅之}。不久东吴孙权率领十万大军进围合肥，合肥诸守将乃共同拆信视曹操所教，信中言道：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”诸将皆为此感到疑惑。此时张辽便说：“曹公远征在外，待其救兵来时，敌军必定已攻破我们了。所以曹公教我等众将，待敌军未合便逆{迎}而击之，摧折敌军锋锐，以安众人之心，然后方可坚守。成败之机，在此一战，诸君何须疑惑？”
而李典亦与张辽持相同意见。于是张辽在夜间募集敢于逆击敌锐之士，共得八百人，于是开剥牛支让将士饱食，准备明日大战。天尚未亮，张辽被甲持戟，独自先登直陷敌阵，亲手斩杀了孙权军队的数十人和两名将领，并于阵中大呼己名，然后突击冲入重垒，直至孙权麾旗之下。孙权见状大惊，其众手足无措，不知所为，只得走登于高丘之上，仅以长戟自守而已。张辽见敌军退避，便叱喝孙权，挑衅他下来对战，孙权惧而不敢动；及至望见张辽所领之兵原来甚少，于是忽聚众军数重围困张辽。张辽于吴阵左右突围，直前急击，其围不禁冲撞而开，张辽将领麾下数十人得以脱出。但阵中尚有馀众未出，皆号呼张辽道：“将军舍弃我们了吗！”张辽复又还入重围，救出被困馀众。孙权人马皆望风披靡，无人敢抵挡张辽。
早晨战至日中，吴军锐气为张辽所夺，曹军此时还城修业进行守备，众心方才安定下来，诸将对张辽所为均表示叹服。孙权攻打合肥十馀日，始终攻不下来，于是还军退师，张辽率诸军乘势追击，几乎捉住孙权，江东名将陈武亦在此战中被击杀。
曹操闻此，对张辽的表现大加赞许，并拜张辽为征东将军。张辽大败孙权一事震惊孙吴，计《三国志?吴书》连裴注中，述及此事的列传有七篇。据《魏略》记载，此役之后，江东小儿啼哭不肯止者，其父母只要吓唬说：“张辽来了，张辽来了！”孩童就没有敢哭泣的了。
建安二十一年{公元216年}，曹操再征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。
建安二十二年{公元217年}，曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年{公元219年}，关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽尚未到达，徐晃已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
建安二十五年{公元220年}，曹操去世，曹丕即位魏王，改迁张辽为前将军，分封其兄张汛及一子列侯。不久孙权再叛变，张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临，命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事。同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年{公元221年}，张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。{召虎即召公是与方叔、尹吉甫、秦仲等齐名的东周大将。他因平淮夷所以被曹丕借作比喻。}”于是为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵营、临时应募的一众步卒，都被封虎贲。
黄初三年{公元222年}，孙权再次向曹魏称臣