既然皇帝都做出让步了，李吉甫知道继续闹下去对谁都没有好处，打算收手。可他没有想到，这场政治斗争才刚刚开始。一直隐藏在幕后的大宦官们也在积蓄力量，伺机收拾一些“不听话”的朝臣。宦官无党，他们自成一派，谁对他们有利，就支持谁；谁妨碍了他们的利益，就收拾谁。

元和三年的四月份，一个本应该生机勃勃的初夏时节对于唐王朝的文官集团来说，却是一个黑色的四月。先是皇上亲自下令免除了裴垍和王涯翰林学士的职务，将裴垍降级为户部侍郎；王涯则去就任都官员外郎。可怜的王涯，都官员外郎的业务还没熟悉呢，又有一纸调令下来，让他去当虢州司马，也就是去今天河南省灵宝市（县级市）做一名掌管军政的副官。

复审考官都被贬了，初审的主考官杨于陵和韦贯之也不能幸免。他们两个也都受到牵连，出京到地方上任职去了。在唐朝，京城官员的地位一向高于地方官，所以原本地位很优渥的两位吏部高官出京外放，心里很不平衡。韦贯之先被“发配”到了西南做果州（今四川省南充市）刺史，赴任途中又被贬到更偏远一点的巴州（今四川省巴中市）做刺史。杨于陵更惨，被打发到岭南，做岭南节度使（辖区为今广东省、广西壮族自治区、海南省，治所在广州）去了。在古代，岭南是蛮荒之地，往往是极不招皇帝待见的人才会被发配到岭南。北宋的大文豪苏东坡不就是被一贬再贬，最后终老在海南岛了吗？

“黑色四月”的战斗是宰相李吉甫挑起的，他的初衷不过是不满几个后生质疑自己的执政水准，想给他们一个教训。可想不到事情的发展脱离了自己的控制，被宦官们利用，成为打击文官的一个好机会。李吉甫暗自后悔，但在既成事实面前也没辙。他唯一能做的就是恪尽职守，在自己的位置上多做点实事，避免成为下一次参加“贤良方正科”的考生们攻击的对象。

牛僧孺等考生虽然没有被贬官，但因为这件事也没能高升，只能继续在各自的县衙中混日子，然后等待遥遥无期的升迁。因为李吉甫从中作梗，阻挠了他们的仕途，所以牛僧孺、李宗闵、皇甫湜等人默默在心中记恨这个共同的仇人。他们蛰伏的时间越长，对李吉甫的仇恨就越深。有些事情会随着岁月的流逝慢慢淡化，但是仇恨、怨气却会慢慢地积累、发酵，待时机成熟时，引发一场始料未及的风暴。

元和九年（814），李吉甫没有等到当年那几位考生的报复就去世了。可他还有一个叫李德裕的儿子马上就要步入政治圈，迎接那些以父亲为仇敌的同僚们的挑战。晚唐著名的“牛李之争”即将拉开大幕。