如今，这一帮人为前途而担忧。但吕惠卿没有放弃希望，他看出自己有机会取代王安石。世上有些人眼泪说流就流，惠卿和邓绾“相与环泣于帝前”，哀恸感人。他们一想到国事，就非常伤心。他们的辩才终于挽回皇帝的心意，吕惠卿遂登上相位。

争端正式开始。全国的市易务官吕嘉问遭到弹劾。市易务胡作非为，自然传到皇帝耳中，那时王安石还在京城，皇帝就问起这件事。

“嘉问一向固守国法，树敌很多，所以如今才受到攻击。”王安石回答说。

皇帝说：“不过每年缴入国库的商税确实很少。而且我不喜欢贩卖水果，卖冰卖炭。有伤皇帝的威仪。”

王安石说：“陛下不该操烦这些小事。这些事自有小官去办。陛下只要关心朝廷的大政方针就行了。”

皇帝回答说：“为什么朝中每一个人都把它当做暴政呢？”

“请把那些人的名字告诉我。”王安石说道。

我们不必详述这些下流的争端。问题是吕嘉问权力渐大，开始违犯条例司，侮辱一位叫薛向的官员。曾布站在薛向这一边，攻击吕嘉问，吕氏遂被免职。皇帝派惠卿和曾布调查此案。两人一向不和，与王安石关系都很密切，类似列宁手下的斯大林和托洛斯基。调查中惠卿开始攻击曾布，曾布开始攻击惠卿，结果曾布就垮了。

纠纷才刚刚开始。惠卿变成朝廷唯一的魁元。他不但利用郑侠案罢免王安石的弟弟王安国，同时在邓绾协助下企图把王安石本人也牵入山东一位亲王所发动的叛变中。因为和叛党的一位人物交情不错，王安石被控参与谋变。另一位大臣（名义也是宰相）与惠卿不和，想拉王安石回朝阻遏惠卿。他除了要求皇上罢黜惠卿，恢复王安石的相位，还送了一份密报给王安石。谋反的罪名非同小可，王安石七天之内就由南京（金陵）赶到京师。

其实王安石和叛变无关，熙宁八年（1075年）二月，他再度担任宰相。邓绾不知所措，决定争取时效，背叛惠卿，投入王安石的阵容。为了得到王安石的欢心，他决定出卖惠卿。他没有告诉王安石，径自和王安石的儿子控告惠卿在华亭向商人强索五百万钱。朝廷罢免惠卿，调其任太守。邓绾和吕嘉问心有不甘，重新提出控告，把惠卿抓入御史台监狱待审。

当权派一个一个遭到罢黜，邓绾也不例外。他仍然精神勃勃，看见惠卿垮台，皇帝渐渐对王安石感到不耐，认为下一个独揽大权的应该是王安石的儿子和女婿。邓绾上书给皇帝，要求擢升这两个人。但是，王安石和皇帝都厌倦邓绾的叛徒伎俩，不但不感激，反而将他免职。现在，邓绾对人性失去了信心。

惠卿一面待审，一面对王安石发出最后的攻击，这些年来他保存了王安石好些私函，意图敲诈。他把信件交给皇上，说王安石不忠，因为好几封信都有“无令上知此一帖”的字眼。皇帝对这帮人烦透了，如今看了这几封信，才真正对王安石生出不满。王安石大骂儿子背着他贸然攻击吕惠卿。他儿子显然不知道惠卿留着这些信要挟他父亲。他自悔莽撞，又被父亲痛责，不久就病倒了，背上生出一个恶疮。王安石一向笃信佛教，他找和尚，找大夫，都无法挽回儿子的性命。王雱之死对王安石是一大打击，他对政治和人生同感失望，心力交瘁，就自请罢相。熙宁九年（1076年）十月，皇帝准他辞官，却保留了几个最高的头衔，不算贬黜。几年后，有人看见他在南京（金陵）乡下骑着毛驴喃喃自语，听不不清说些什么。