“放肆！”杨广怒喝道：“你们若不想陪在朕身边，朕准你们滚回东都。”
“陛下息怒。”来护儿不怕杨广责罚他，甚至不怕被砍了脑袋，但杨广说让他回到洛阳，他是万万不肯答应，无奈之下，只能俯首认错：“微臣一时失言，还望陛下责罚。”
杨广余怒未消，不愿多说半个字，拂袖而去。
“看来，这世上没有人能够劝说陛下改变心意了。”来护儿叹道：“我们能做的，只有安抚江都的这些将士了。”
杨广巡游江都时，带了十几万大军，这些人长时间离开家乡，连过年都未能回去，难免会产生思乡之情。此时天下动乱，将士们担心家中的亲人，更加想要回到北方，但杨广却命人修建宫阙，似乎准备一直呆在江都，他的所作所为，令将士们感到心寒，不时有士兵偷偷逃走。
大业十三年，注定不会太平，一月的动乱只是开始。
二月初一，朔方人梁师都杀郡丞唐世宗，占据朔方郡造反，自称大丞相。初七，王子英攻占上谷郡。初八，马邑校尉刘武周杀太守王仁恭，起兵作乱，并投靠突厥，自称定杨可汗。在动乱之中，银青光禄大夫张世隆被俘，虎贲郎将王智辨战死。