为了求学上进，谢氏可谓费尽心思，他不许少年海瑞玩耍嬉戏，“有戏谑，必严词诲之”。所以从小至成人，海瑞无幽默感，不善于交友，总是老气横秋，“言词有板眼”，是个老夫子的形象。在“母爱”的畸型培养熏陶下，他养成孤僻心理，和认死理的倔犟性格。海瑞一生结过三次婚，纳过二位妾。大夫人潘氏进海家后，勤劳肯干，性情也不错，但谢氏处处挑毛病，骂她是“女骡”转世，还唆使儿子续弦。
理由十分简单，潘氏多年不生育（这是被骂“女骡”的原因，因骡子无生育能力），有碍“不孝有三，无后为大”的礼教，他只得休掉发妻潘氏。继配许氏生了两个女儿，为有着深刻封建伦理观念的海母所不容，由于同样的原因被逐出家门；后来三夫人在极为可疑的情况下暴卒，此事被传得纷纷扰扰，言官参劾他有杀妻之嫌，后不了了之。另一妾在屈辱中度日如年，于同月自缢身亡。
嫁给海瑞的5位女人，有4个落得如此下场，其中有海瑞的“薄情”，主要在于海母的刁钻刻薄，拿儿媳妇当出气筒，她成为家庭主宰后，必然是位鸡蛋里挑骨头的“事妈”。她是海瑞忠孝思想培养者，也是海家悲剧的始作俑者。从四位妻妾的悲惨下场分析，可知海瑞唯母命是从，甚至打骂媳妇只要老母不生气，就是尽孝道，决不管对方的死活和感受。
他每日要板着脸孔面对妻妾，“不苟言谈”，否则老母就“掉脸子”给他难堪。海母的所作所为，为当时人所诟病。然而，没有什么力量能阻止海瑞对老母尽孝，他绝不会违拗母意，有如他不顾生死地为皇帝尽忠一样，他毫不顾及政敌的攻讦，时论的非议，更不顾天理良心，铁石心肠地看着妻妾们一个个落难离他而去。海瑞秉持的这个“孝”，已不仅是关爱、赡养老母了，内含着无条件的服从，甚至充当她施虐的帮凶。
正是他孝道观的扭曲，一切正常的人性，包括夫妻的恩爱关系都得让路。这就是海瑞骨子里尽孝道的核心。正是这种孝道观的驱使，使正襟危坐的“海青天”，在讲仁义道德的同时，变成面目可憎的衣冠禽兽了！后世人谈论此事，对海瑞多有微词，他到三四十岁时，还要经常和母亲同屋而眠，冷落妻妾，在孝道面前他没有独立人格和自主的婚姻生活，这样的夫妻关系能幸福吗？海瑞的“憨孝”，还见于他对子女的态度上，与他同代的学者何良俊撰《何氏语林》，记述海瑞的家事云：海瑞有个女儿才5岁。
一天，海瑞看见她拿一块饼子在吃，就问：“谁给汝饼吃的？”答：“是僮某”（僮可指家中的仆人，也可指未成年的男子，此指是后者）。海瑞大怒道：“女孩儿家怎能随便接受僮的饼？你不是吾的女儿了；如果能从此不吃东西而饿死，才算是我的女儿！”女儿哭了，果然不再吃东西了（大人也不想给她东西吃）。到了第七天，女儿活活饿死了。
何氏《语林》之记载是其目击，还是风闻不得而知。然而从海瑞的为人看，他是说到做到，也要求家人做到，绝无通融的余地，以致逼得五岁的女儿不进食而死，应该是真有其事的。其作法过于残忍，让人不可思议。由此可看出海瑞是封建礼教的卫道士，在害人害己的过程中，他已经变得麻木不仁了。四海瑞深得民心，但却非常不得“官心”。
从《明史·海瑞传》的记载可以看出，他在官场和朝廷是相当孤立的。明朝高官按例可以为自己的父母请封赠，以荣耀乡里。官居二品的海瑞却没有能力为他母亲请得太夫人的尊号，在当时是少有的例外。侧面证实海母女德不佳。海瑞一生确实提出过不少治国施政的良策，但被采纳实施的盖寡。他能够施展抱负、大刀阔斧地推行自己的政见，只有在巡抚应天十府时有所作为，但时间暂短，仅半年而已。
除了疏通郡治的江河，“以工代赈”的成果外，余事皆在他离任后就废止了。所以如果用从政的实绩来审视明朝人物的话，海瑞充其量是一位洁身自律的清官，对大明王朝的政治、经济和社会生活并没有实质性的影响，在很大程度上只是一个道德上的典型。老百姓拥护“海清天”，官员们对他却又敬又怕。对于海瑞，他们嘴上不便多说，心里却有说不出的嫌恶和腻歪。
一听到要和海瑞共事，就如遇到瘟神，头皮发麻，心中打怵、唯恐避之不及。海瑞调升巡抚应天十府时，他的任命文告一公布，应天十府有点头脸的官宦便纷纷请求改调它处，有的甚至自动离职，宁肯丢掉乌纱帽，也不与他共事触霉头。海瑞入仕为官33年，一半光阴属于罢官状态。奇怪的是他每罢官一次，复起时便升迁一次，官反倒越作越大，但都是高位闲职。
