李绅是安徽亳州人，幼年丧父，由寡母卢氏一手带大。他对族人的感情并不深厚，在族中的名声不是很好。坊间传闻李绅做官之前，经常管一个叫李元将的人叫叔叔，两人都姓李，李元将又比他年长，叫几声叔叔也没什么大不了的。可是李绅做官之后，李元将要反过来巴结李绅了，他不敢以叔辈自居，就主动降级，称呼李绅为兄，李绅不理。他又降一辈，叫李绅叔叔，李绅也不予理睬。李元将干脆把心一横叫李绅爷爷，李绅才勉强接受了这个比自己大很多岁的“乖孙子”。这件事让李绅的族人们心冷，对他敬而远之。

李绅家族中有一个侄子叫李虞，也被李逢吉利用，跑来为李绅添堵。李虞的文章写得很好，但仕途不得志。他为了自我安慰，故意说自己不喜欢当官，一生只想做一个陶渊明一样不为五斗米折腰的隐士高人。李绅听了这话很不以为然，认为李虞是沽名钓誉之辈。果然，李虞有一个亲叔叔做官了，他按捺不住喜悦写信给叔叔，希望能谋求个一官半职，以施展自己的政治才华。李绅听说这件事后，就公开奚落李虞是假隐士、真官迷。李虞脸上挂不住，十分记恨李绅。他听说宰相李逢吉也不喜欢李绅，就主动去抱李逢吉的大腿，向李逢吉透露李绅私下的劣迹。李逢吉虽不喜欢李虞这样的小人，但他很重视李虞的身份，不但亲自接见了李虞，还给他钱，让他尽可能地在士大夫中间传播李绅的过错。

李绅是个喜欢走上层路线的人，他能和穆宗打好关系，但不重视与同僚的相处，在士大夫中的人缘本来就不是很好。现在他的族侄都站出来说他的坏话，等着他倒霉的人越来越多。人与人之间的关系都是相对的，你对我好，我自然对你好。士大夫们抱着看热闹的心态等李绅出丑，李绅身为御史中丞自然不会客气。御史中丞拥有整顿吏治、弹劾百官的权利，他暗中观察那些曾经说过自己坏话的人，将这些人视为“朋党”，并上报给穆宗。当权者，最害怕的不是下属无能，而是怕他们结党营私。一旦谁被皇帝认定为结党，仕途就算走到尽头了。这样恶性循环之下，李绅在同僚当中的名声越发不好，私下诋毁他的人更多了。

不用自己出手，就能给李绅制造很大的困扰，李逢吉很是得意。他认为自己启用李虞来对付李绅的这步棋下得很高明，决定继续出招。他让自己的亲信张又新、李仲言等人和李虞一起搜集李绅和其他自己看不顺眼的人的过失。李虞、张又新这些人又各自找了一些帮手，号称“八关十六子”，这十六个人紧紧抱住李逢吉的大腿，对他百般奉承，仗着李逢吉的庇护作威作福，恶名远播。

穆宗李恒是个短命的皇帝，在位三年多就去世了，享年不过三十岁。他与大唐其他皇帝最大的不同是别人都是儿子继承自己的皇位，孙子继承儿子的皇位，而他的龙椅却接连传给了三个儿子，穆宗之后的敬宗、文宗、武宗三任皇帝都是他的儿子。这父子四人最为相似的地方就是他们在位期间，牛李之争的硝烟始终飘荡在王朝的上空，久久不散。