刘大夏第二次奏陈兵政的十害，并且要求辞官回乡，孝宗不答应，要他将各应该革除的弊端更详细地全部奏闻，于是，刘大夏举出南北军队陆路水路轮流值班运粮的劳苦，以及边军困倦疲惫、边将克扣的情况全都奏报，孝宗于是在便殿召见刘大夏，问道：“卿先前说天下民穷财尽。祖宗以来征收有常法，为什么现在这样？”刘大夏回答：“就是说没有按常法征取。如向广西每年取铎木，从广东取香、药，花费以万来计算，其他就可想而知了。”孝宗又问到军队，他回答：“与百姓一样穷。”孝宗说：“居有月粮，出有行粮，什么缘故会穷？”刘大夏答道：“其帅克扣超过一半，怎会不穷？”孝宗叹息道：“朕执政这久，还不知天下军民贫困，怎样做人君！”于是下诏严禁。
当时，孝宗正锐意太平，而以刘健为首辅，马文升以师臣领导六部，史称“众正盈朝”。孝宗察知刘大夏正直严谨，并且办事熟练，尤其信任他，数次召见他判别事情，刘大夏也在各事上为孝宗尽力。
大同发生小的战事，孝宗听信宦官苗逵的话，准备出兵。内阁刘健等竭力劝阻，孝宗仍犹豫不决，召刘大夏问道：”卿在两广，知道苗逵捣毁延绥巢穴的功劳吗？”刘大夏答道：“臣听说，俘虏十几个妇女儿童而已，托朝廷威德，全师返回。不这样的话，后果就难说了。”孝宗沉默好久，问道：“太宗频频出塞，现在为什么不行？”刘大夏回答：“陛下的才干固然不比太宗差，而将领士马远不及太宗时期。像淇国公丘福稍许违背节制，将数十万兵众委之于沙漠，怎么能说是容易之事。臣揣度现在上策只有防守而已。”都御史戴珊也从旁边表示赞同，孝宗醒悟地说：“要不是你们劝说朕几乎误了大事。”于是果然没再出兵。
庄浪土著首领鲁麟任甘肃副将，求升大将不成，恃其部众强，擅自回到庄浪。廷臣担心其生变想授鲁麟大帅印，又想召他回京师，安置在不紧要的地方。刘大夏请求奖励其先世忠顺，而听任鲁麟闲居。鲁麟向来凶狠残暴失去众人之心，没有兵权无法有所作为，最后闷闷不乐而病死。
孝宗要在京城附近驻兵作为左右辅佐，刘大夏说：“保定设都司统率五卫，祖宗之意也是如此。请遣还操练军士，一万人作为西卫，将驻扎在密云、蓟州的军队作为东卫。”孝宗批准了。监督京营的宦官怨恨失去兵权，在宫门上贴小字报。孝宗以此给刘大夏看，并说：“宫门外人岂能进来，必定是某些不愿失去兵权的人所为。”由此，阴谋未得逞。
孝宗曾经对刘大夏说：“遇到事情总想召卿来商量，又担心超越卿职权范围而作罢。以后有事情的实行或罢止，卿用揭帖文书呈上来。”刘大夏磕头说：“对事情的决定，外边的交付政府部门，内部的向阁臣咨询就行了。揭帖易滋长弊病，不可作为后世效法。”孝宗称好。又曾问；“天下何时太平？”刘大夏答：“求治不能太性急，不过用人行政全都与大臣面议，恰当的再实行，时间长了天下自然太平。”刘大夏曾经趁机提到四方镇守宦官的危害。孝宗询问详情，刘大夏答道：“臣在两广见到诸文武官的供应比不上一个镇守，其耗费可知。”孝宗说：“祖宗设置这些已很久，怎能一下子革除。不过从现在开始必须像郑原、麦秀那样廉洁的才能任用，不然则罢免之。”刘大夏磕头称好。刘大夏每次被召见，跪在御床前，孝宗往左右一看，近侍都退避走了。刘大夏曾有时回答问题时间长了，疲惫得起不来，孝宗就喊司礼太监李荣扶他出去。一天早朝，刘大夏本该当班，孝宗碰巧没见到他，第二天告诫刘大夏说：“卿昨天未上朝吗？担心御史纠察，没有立即召见您。”其受孝宗宠爱如此深，特别赐他玉带、麒麟服，送金币、上等醇酒，岁时不断。
孝宗去世后，武宗即位，刘大夏奉遗诏请求撤去非定额内的四方镇守宦官，武宗只撤去均州齐元，刘大夏又主张应撤去镇守宦官二十四人，又奏减皇城、京城守卫宦官，都未被接受。不久，刘大夏列举应当淘汰的传奉武臣六百八十三名，被批准。大汉将军薛福敬等四十八人也该削去官职，薛福敬等故意不入宫侍奉来激怒武宗。武宗立即命恢复薛等官职，而要求兵部回答详情，意欲加罪，宦官宁瑾磕头说：“这些是先帝遗命，陛下列入登基诏书，不宜问罪。”武宗才放弃追查此事。宦官韦兴在成化末年因有罪被长期罢官，这时靠巴结得以镇守均州。言官纷纷谏阻，刘大夏等再三争辩，武宗都不理。刘大夏又奏道：“镇守宦官，如江西董让、蓟州刘琅、陕西刘云、山东朱云贪婪残暴尤其厉害，请求审查惩处。”武宗不高兴，刘大夏知道自己意见不被采纳，数次上奏章请求辞官。
武宗下诏加封他太子太保，同意他返乡赐敕书、车马返回，按旧制供应粮食和役仆，给事中王翊、张襘请求留住刘大夏，吏部也要求留刘大夏，武宗不理。
刘大夏忠实诚恳，为孝宗所信任，忘我报国，对权贵近幸多行抑止，曾经要求严格考核勇士，为刘瑾所恨。刘宇也恨刘大夏，就与焦芳一起在刘瑾面前进谗言道：“抄刘大夏的家，可得边费的十分之二。”借田州岑猛的事，将他逮捕下到诏狱，刘瑾要以激变罪判大夏死刑，都御史屠滽不同意，刘瑾谩骂道：“即使不死，