这封信没有回音。三月，苏东坡又写了第三封信。此时皇帝已下令禁止强摊贷款，但是并不打算废新政。苏东坡引孟子的话说，这就像偷鸡贼有心改过，却打算每月只偷一只鸡。他自熙宁四年（1071年）一月开始担任告院权开封府推官，其间出了一道州试试题。题目是“论独断”（全题是“晋武平吴，以独断而亡。齐小白专任管仲而霸，燕哙专任子之而败。事同而功异，何也？”），这让王安石非常生气，使情况更糟。

苏东坡立刻被罢黜。不出所料，皇帝有心善意接受他的劝告，奸佞小人却可以找些莫须有的罪名来整他。王安石的亲戚兼随从谢景温把法律的巨轮转向苏东坡。当时谣传苏氏兄弟护送父亲灵柩回四川，曾滥用官兵，买家具、陶瓷，甚至贩卖私盐图利。朝廷派官员到苏家兄弟途经的省份，向船夫、兵卒和仪官收集资料。苏东坡也许真的买了不少家具、陶瓷，但是没有非法的行为。差人回来说，没有发现什么，如果找得到，他们一定会带回来。

苏东坡写信给当时住在四川的内弟（王箴）说：“某与二十七娘甚安，小添寄叔并无恙……某为权幸所疾久矣。然捃摭无获，徒劳掀搅，取笑四方耳。不烦远忧。”

司马光回洛阳老家之前，皇帝曾对他说：“我觉得苏轼人品不好。也许你高估了他。”

“陛下是指苏轼的弹劾案？”司马光答道，“我比较了解他。陛下知道谢景温是王安石的亲戚，此案是王安石发动的。苏轼并非十全十美，但是他比隐瞒母丧的禽兽李定可强多了。”

根据苏东坡的政绩，他该任太守，皇帝也有此意。王安石和谢景温却不赞成，要他担任偏远军州的判官，不过皇帝最后改命他为杭州太守。面对御史的弹劾，苏东坡连答辩书都懒得写，任凭官员去查个痛快，自己则带着家眷到杭州去了。