却说张永自随杨一清讨平，武宗即宠幸异常，由此日与江彬用事。江彬欲攘永权，累导武宗远游。武宗为彬所惑，于是巡幸不时。又兼义子钱宁用事，朝政几又浊乱。会正德九年正月乾清宫灾，八月京师地震，十二年夏京师大旱。杨一清既入阁问事，见此连年灾异，不敢隐忍；又因武宗巡幸不时，朝臣屡谏不听。不得已上疏奏陈时政，讥切钱宁、江彬近幸等人。钱宁、江彬切齿痛恨，江彬因说道：“杨一清这老匹夫如此可恶！怎得设个法儿，将这老匹夫赶出，我辈才可为所欲为。”钱宁道：“这却不难，可如此如此，包管那老匹夫不久就要见罪于圣上了。”
过了两日，果有优人造成蜚语，妄说杨一清妄议国政，跋扈朝廷，奴隶廷臣，交通外党。却好这日武宗张乐饮宴，优人便将所造各蜚语乘间报之，武宗果相信不疑，次日上朝，面责杨一清各事。杨一清当下吓得汗流浃背，即碰头奏道：“臣世受国恩，虽肝脑涂地。不足报于万一，臣又何敢跋扈朝廷，擅揽国政？尚乞圣上明查暗访。果有前项各事，请治臣以不臣之罪；若无此事，必有近幸妄造蜚语，以惑主听，亦请圣上务查造语之人，治以诬蔑之罪，则国家幸甚，微臣幸甚。”武宗闻奏，便望杨一清笑道：“朕前言戏之耳，卿何必如此认真耶？朕岂不知卿之为人素称忠直，而顾有如此之妄乎？卿毋介意便了。”杨一清当下又碰头谢罪道：“臣诚有罪，惟愿圣上亲贤臣、远小人，臣虽碎身粉骨，亦所愿耳。臣不胜昧死以奏。”武宗闻奏，不觉微有不悦，道：“卿所奏‘亲贤臣，远小人’二语，贤臣自宜亲近，但不知朕所亲小人者何在，想卿有所见闻耳。”杨一清见问，知武宗不悦，赶着碰头奏道：“聪明神圣，莫如陛下，岂不知亲贤臣、远小人？原不足为臣虑。臣所以不得不奏者，欲陛下防之于将来，不必为小人所惑，臣亦庶几报恩于陛下耳。幸陛下察之。”武宗见杨一清说得委婉，方才息了怒容，退朝进宫而去。