“可恶的还不止这些！”老头一生气，就把这些年吕惠卿所作所为一一向王旁道来。
原来，熙宁七年（1074年），王安石首次罢相。吕惠卿由于王安石和宋神宗的赏识，而被提拔为参知政事，作为王安石的继承人。但吕惠卿的野心很大，他看出来，宋神宗虽罢王安石，其实不过是迫于旧党势力的舆论压力而做出的暂时回避。他梦想彻底搞掉王安石，以取代其地位。故而，想方设法地迫害王安石，以避免其再度复相。其手段之卑劣。凡可以迫害王安石的伎俩，几乎无所不为。为了彻底排挤王安石，他采取了两个办法。其一，借郑侠上《流民图》之际，唆使自己的党羽诬告王安石的弟弟王安国，并借李世宁一案败坏王安石的名声，他罗列王安石兄弟的所谓罪行秘密上奏宋神宗；其二，他把王安石给自己的私人信件拿给宋神宗看，内中的“无使齐年（暗指反对变法的参知政事冯京）知”和“无使上知”两句自然引起了宋神宗的极大反感。对宋神宗与王安石的关系是极大地打击，造　成两人君臣知遇裂痕的产生。据说，此后宋神宗才开始对王安石有很大的不快。
吕惠卿的野心当然不止于此。他既想使王安时永远不能复相，变着法子使宋神宗失去对王安石的信任，又阴谋取代在自己位置之上的首相韩绛。但韩绛已经觉察到了吕惠卿的险恶用心，便秘密向宋神宗建言，如果王安石不能迅速复相，则朝中政局必然会发生混乱。加上，号称“传法沙门”的韩绛，优柔寡断，的确缺乏独当一面、襄助宋神宗主持变法大业的能力。更使得宋神宗决定让王安石复相。