在宋朝，能够三次任宰相的，只有赵普和吕蒙正俩人。
咸平六年，公元1003年，朝廷授给吕蒙正太子太师一职，封为莱国公，改封徐国公，又封为许国公。
至此，吕蒙正位极人臣，成为一代名臣。
他懂得功成身退的道理，当下于景德二年，也就是公元1005年的春天，吕蒙正上表请求辞官回洛阳。
皇帝对他虽然不舍，但是，考虑到他岁数也大了，只得恩准。
吕蒙正到了告辞朝廷那天，坐轿到东园门，命令他的儿子扶着他到宫殿，朝拜宋真宗说：“对远方的人要和平共处，停止战争节省财用，是古往今来的治国上策，希望陛下经常替百姓着想。”
宋真宗赞许并采纳他的意见，于是升任他的儿子吕从简为太子洗马，吕知简为奉礼郎。
吕蒙正回到洛阳养老，他宅子里有园亭花木，适合养老。
他每天与亲戚朋友宴会，看见子孙环列，经常向他敬酒祝寿，不由怡然自得。
大中祥符以后，宋真宗朝拜永熙陵，封禅泰山，祀祠后土，经过洛阳，两次到他家，赏赐给他很多财物。
宋真宗对吕蒙正说：“卿的几个儿子谁可以重用？”
吕蒙正回答说：“我的几个儿子都不足任用。臣有个侄儿叫吕夷简，现任颍州推官，具有宰相的才能。”
吕夷简从此被宋真宗关注，后来果然做到了宰相位置。
之后，吕蒙正逝世，终年六十八岁，追赠中书令，赐谥号为文穆。