张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。
正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意！”同年，张辽与诸将同破吴将吕范。但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年{公元225年}，曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”