救了海瑞一命的徐阶后来又提拔他到江南当官。海瑞上任后，发现徐阶家族在当地占田24 万亩，民怨甚重，于是要求徐阶退田。徐阶退了一些，海瑞并不满意，弄得徐阶很是尴尬，后只得退了一半的田地，两个儿子被判充军，亲弟弟被治罪。海瑞后来又遭弹劾，没有人再保他，只得被迫去职，在家赋闲十余年。再复官时，朝廷给的都不过是些虚衔了。

海瑞的家庭生活大致是这样的：海瑞由寡母带大，与母亲感情甚深，34岁还与母亲同睡一床，一生清贫的海瑞只在为母亲祝寿时才买了两斤肉，并因此轰动一方。海瑞一生娶有一妻三妾，但婆媳不和，妻妾相争，有两妾同日自缢，还导致海瑞被怀疑谋杀。海瑞又先后将剩余的一妻一妾休弃，逐出家门。海瑞育有一儿一女，儿子死得不明不白，女儿则是因为吃了别人送的饼被海瑞严责而绝食七日活活饿死。

关于为官之道，一代名臣曾国藩总结说：“世事纷繁，人心不一，官场复杂，尤为微妙。识见固要闳深，行事更需委婉，曲曲折折，迂回而进。当行则行，当止则止，万不可呈才使气，只求一时痛快。”这说的正是情商！相比之下，海瑞的情商根本不及格。对他的不近人情，有人怀疑他有道德洁癖，也有人归因于心理残疾。不管怎样，为官之人，家没齐，国没治，徒有道德也枉然，明代思想家李贽这样评价他：“先生如万年青草，可以傲霜雪而不可充栋梁。”