刘备攻取汉中，逼近下辩，曹操考虑到武都距敌人太近，想把百姓迁移至内地，但又怕当地官兵眷恋故土，杨阜很有威望，迁移工作极为顺利，迁居到京兆、扶风、天水等界内的，多达万余户，治所移到小槐里，百姓扶老携幼相随而行，杨阜做太守仅抓大事，下属也不忍心欺骗他。魏文帝曹丕问侍中刘晔等人：“武都太守怎么样啊？”大家都一致称赞他是德才兼备的人，还未来得及重用，曹丕就死了，杨阜在郡职呆了十几年，才被召任为城门校尉。
后来杨阜经常看见魏明帝戴着绣帽，穿着半袖的缥绫衣服，他就问明帝：“这是行的什么礼仪呢？”明帝默不作答，但是后来不按礼法穿朝服，就不敢再见杨阜。明帝大兴土木，选美女以充后宫，还不断出宫到禁囿中巡猎，这年秋天，一场大雨，加上罕见的雷电，竟劈死很多鸟雀。杨阜上书说：“我听说君主圣明，群臣都敢直言不讳，唐尧、虞舜都是圣明的君主，他们公开叫群臣提意见，征听劝谏，大禹多创功业，而自己的宫室却很窄小，成汤王遇上旱灾，把责任归在自己身上;周文王用礼法感化妻子，汉文帝崇尚节约，着布衣，所有这些，都是能听取好的建议，为子孙后代谋虑的举动。臣愿陛下能奉行武皇帝开拓的伟业，恪守文皇帝始终如一的传统，向古代圣贤的善政看齐，力避末代帝王放荡亡国的恶政，所谓善政，即指崇尚节约，重视百姓的生产，所谓恶政，即指随心所欲，任意而为。臣愿陛下细心考察古代治世所以明达、古代末世所以衰弱以至灭亡的历史原因，对于近代如汉末的巨大变故有所省悟，就可以引起警惕了，假使汉桓帝和汉灵帝不废弃汉高祖的法则以及文帝、景帝的恭俭品节，那么即使我太祖曹操再英明伟大，也无施展才能的机会。而陛下哪还有机会位居帝王呢？当今吴、蜀还未平定，在外还有大军，愿您要三思而后行，进宫出宫要慎重，以古代的成败，来作为治理朝政的借鉴，说来容易，但确实关系到成败大事，刚刚下过大雨，暴死的生灵很多，雷电如此厉害，以致击死麻雀，天地神明，把帝王作为它的儿子，凡是政治有所失当的，它就会降灾谴责，应该深刻反省自己，这是圣人的教导。愿陛下在事前就早做思考，在事情初露端倪时就谨慎对待，效法汉孝文帝让汉惠帝的后宫佳丽出去嫁人的办法，把刚选进的美女放出宫去，不久前征入宫的小女孩，我听说不太温驯，应该作长远打算。建宫室和制作器物，一定要本着节约的原则。《尚书》说：‘九族和睦，万国也就协和了。’凡事应考虑周全，拿出妥善的方法，精心计划，以便节省费用，如果能平定吴、蜀，则君民同乐，如此以往，祖先也会欢心，尧舜恐怕还得妒嫉呢，今后应开启信义于天下，安抚百姓，用以昭示边远之人。”
当时雍丘王曹植怨言深重，认为各藩王之间，城府太甚，所以杨阜又上书，略陈九族亲戚的大义，魏明帝下诏回报杨阜说：“看过密表，先是陈述古代明王圣主业绩，用以讽刺时政，言辞恳切，心地坦诚，我退思补过，将有所匡正，会悉心考虑的，你能苦言衷告，我尤为赞许。”
大司马曹真率兵伐蜀，因天遇大雨，不得前进，杨阜上疏说：“从前周文王时有赤乌出现，是种好的征兆，但他忧虑得时至黄昏还顾不上吃饭。武王伐纣时，有白鱼跳进船里，君臣都为之变色。行动时有吉祥征兆出现，他们尚且忧虑不已，更何况有灾异情况，怎能不恐惧呢?而今吴、蜀未平，而天灾不断，陛下应当深以反省，专精应答，侧席而坐，用以昭示德行，对内则崇尚节俭。大军刚刚出发就遇上大雨，被阻隔停留在艰险的崇山峻岭之中，已经有很多天了。转运粮草很艰辛，负荷重，费用特多，如果不能提供后继，一定事与愿违。《左传》说：‘见可而进，知难而退，军之善政也。’徒然将大军在山谷中困着，进退不得，这不是用兵之道。武王见白鱼跳船而还师，殷商最终还是被灭掉，因为武王知道天意。而今年歉收，百姓饥苦，应发布告示，减少宫庭中食物和衣服的花销，技巧珍玩之物，都可以免掉。从前邵信臣生活在太平时代，但还是奏表，要求减省多余的食物。而今军用不足，更应节俭。”明帝下诏让各路大军班师回朝。
后来明帝下诏，让大臣议论哪些政治措施不便于民，杨阜认为：“好的政治在于任人唯贤，使国家振兴的根本在于发展农业。如果置贤于不顾，只用自己的亲信，这是最坏的政治。如果大兴土木，修建宽敞的宫殿，高高的台榭，妨害人民正常的劳作，这是伤害农业生产的。那些工匠不务正业，而是竞作奇巧，以迎合皇帝的私欲，这是最为危害国家的根本的。孔子说：‘苛政猛于虎。’当今官吏不论雅俗与否，治理国家的时候都不了解统治的基本原则，只是喜好烦琐和严厉，这是最为乱民的办法了。当务之急是要根除上文提到的‘忘治、害农、伤本、乱民’的四个弊端，昭示于公卿百官与各州郡及藩国，推举贤良方正、朴实敦厚的士子，这是求取贤人的一个重要办法。”杨阜又上书要求那些失宠宫人出宫，于是召集御府