這封信沒有回音。三月，蘇東坡又寫了第三封信。此時皇帝已下令禁止強攤貸款，但是并不打算廢新政。蘇東坡引孟子的話說，這就像偷雞賊有心改過，卻打算每月只偷一只雞。他自熙寧四年（1071年）一月開始擔任告院權開封府推官，其間出了一道州試試題。題目是“論獨斷”（全題是“晉武平吳，以獨斷而亡。齊小白專任管仲而霸，燕噲專任子之而敗。事同而功異，何也？”），這讓王安石非常生氣，使情況更糟。

蘇東坡立刻被罷黜。不出所料，皇帝有心善意接受他的勸告，奸佞小人卻可以找些莫須有的罪名來整他。王安石的親戚兼隨從謝景溫把法律的巨輪轉向蘇東坡。當時謠傳蘇氏兄弟護送父親靈柩回四川，曾濫用官兵，買家具、陶瓷，甚至販賣私鹽圖利。朝廷派官員到蘇家兄弟途經的省份，向船夫、兵卒和儀官收集資料。蘇東坡也許真的買了不少家具、陶瓷，但是沒有非法的行為。差人回來說，沒有發(fā)現什么，如果找得到，他們一定會帶回來。

蘇東坡寫信給當時住在四川的內弟（王箴）說：“某與二十七娘甚安，小添寄叔并無恙……某為權幸所疾久矣。然捃摭無獲，徒勞掀攪，取笑四方耳。不煩遠憂?！?/p>

司馬光回洛陽老家之前，皇帝曾對他說：“我覺得蘇軾人品不好。也許你高估了他?！?/p>

“陛下是指蘇軾的彈劾案？”司馬光答道，“我比較了解他。陛下知道謝景溫是王安石的親戚，此案是王安石發(fā)動的。蘇軾并非十全十美，但是他比隱瞞母喪的禽獸李定可強多了?！?/p>

根據蘇東坡的政績，他該任太守，皇帝也有此意。王安石和謝景溫卻不贊成，要他擔任偏遠軍州的判官，不過皇帝最后改命他為杭州太守。面對御史的彈劾，蘇東坡連答辯書都懶得寫，任憑官員去查個痛快，自己則帶著家眷到杭州去了。