弘治初年，马文升和吏部尚书王恕是人望所归，他们不但以人品服众，而且对政事的议论极多。每一疏出，天下传诵。王恕致仕，马文升声望更高。但推选吏部尚书，孝宗没有用他。为此，他颇感不平，所写诗中有“朝罢凭阑一黯然，独将心事诉苍天”句，发了一通牢骚。马文升之子马玠“主使殴人至死，罪当绞”，孝宗下诏宽宥，马文升引咎请辞，孝宗不允。他“三年秩满”，被加授为光禄大夫、柱国。马文升改吏部尚书，加衔至少师兼太子太师。在他之前，只有少数几名尚书、都御史得到这一荣誉。
面临着次年的考察，孝宗召见负责考察的马文升和都御史戴珊等议事，马文升已七十九岁，行动不便，耳朵又背，孝宗对他讲了两遍，要他秉公黜陟，马文升回答：“陛下图治若此，宗社之福也。”然后被左右扶掖下阶。对于官员的考察进退，马文升是很认真的。初任吏部尚书，他就对滥封传奉官提出异议。传奉官是不经过正常途径，由皇帝亲自传旨任命的官员。成化时最盛行。孝宗初年统加裁革，但后来也加封赏，一次竟达八百人。马文升说，减一官，朝廷省一官之费。武宗即位之初，他按照孝宗遗旨，裁去传奉官七百六十二人。对于内外官员的考察，他也很严厉，一次汰罢朝觐官员二千余人。
考察不讲情面，定会招致许多反对者，而在用人时也未必全无个人意气。刘大夏是弘治朝另一名臣，就因为与马文升对官僚的评价不同而引起矛盾。河南籍官僚刘宇为首辅刘健所器重，马文升推举他总制宣、大。刘大夏大概知道孝宗对此人的看法不佳，屡屡在朝中数其过失，当然也就牵连到荐举人。侍郎王俨是刘大夏的姻亲，马文升抑制王俨，很难说不是因为刘大夏。
刘大夏所倚重的副手、兵部侍郎熊绣被推举为两广总督。熊绣不愿外出，也怨恨于马文升。他们纠结在一起，又拉出与刘大夏为同乡及同寅的阁臣李东阳，顿时形成一股反对马文升的强大力量。御史何天衢首先发难，弹劾马文升老衰。马文升于是请求致仕，在上奏了二十一道奏疏后，武宗方才允准。
宦官刘瑾专权期间，将一批反对派官僚定为奸党，马文升与其中一些人关系密切，马文升被削秩除名。马文升去世，享年八十五岁，葬于州北大隗山麓，马文升死后两个月，刘瑾被捕入狱。朝廷还未听闻马文升的讣讯，下诏命其“致仕复职”，闻其死讯后，为他辍朝一日，赐祭葬，追赠特进光禄大夫、太傅兼太子太傅，谥号“端肃”，世宗朱厚熜又加赠马文升为左柱国、太师兼太子太师。
马文升先后辅助代宗、英宗、宪宗、孝宗、武宗五朝，历仕五十六年，与王恕、刘大夏合称“弘治三君子”。早年在山西、湖广、福建任地方官时，“发奸擿伏”，革除民弊。明宪宗时，参与平定固原盗乱，抵御鞑靼，总制三边，并整饬辽东边备、总督漕运，功勋卓著。孝宗时，马文升主持兵部，整顿京营、边务，处置哈密事宜。后任吏部尚书，裁去传奉官七百六十二人，又在官员考察时严加处置。