一次他路过淳安县，驿站招待从简，胡衙内竟吊殴驿吏，砸坏驿馆。海瑞闻讯，即令捕快将其拿下痛打一顿，并没收敲诈渔利的全部银两。然后巧妙的修书一封，连同人犯一同押解送给胡宗宪治罪。内称：此刁民胆敢冒充总督大人之公子胡作非为，明显违反胡督关于“驿费务从简”、“体恤民瘼”之官箴，败坏总督大人的官名、家风，不予严惩难平民愤。
胡宗宪看完文书，再看一眼被打得鼻青脸肿的胡公子，连连摇头，他哭笑不得——确实是有怒发不出啊！未几，大官僚鄢懋卿“以严嵩客由中台出理八省盐法势张甚”。他由杭洲经淳安到齐云，许多州县官吏百里承迎，唯恐不周，且先有行文发至淳安，令地方好生侍候。海瑞作为一个穷郡的小县令，面对这位达官显贵即将过境，似难处置。他经过一番思考，认定“从简接送”还不如拒之为上，反正也是得罪他。
马上写信快马递送给鄢懋卿，在揭露其招摇、靡费和劳民伤财的伎俩后，毅然奉劝鄢大人深思：“淳安邑小，不足奉迎，至且见罪，愿取它道往。”意谓我这里是穷乡僻壤，请改道别处吧。鄢氏见信“忿忿然”，拂袖令官轿绕道而去。一个七品县令，敢于同炙手可热的权贵之不法行径抗争，而且直指其非，这是需要一点胆识和勇气的。海瑞后来调往兴国任知县，原兵部尚书张鳌致仕在南昌颐养天年。
其侄子张魁、张豹到兴国以买材为名，到处坑蒙拐骗，巧取豪夺，无恶不作，气焰嚣张到“白日越货”的地步。有百姓告发，海瑞派人拿下交有司治罪。二刁顽百般狡赖，加上官吏包庇，竟宣判二人无罪。海瑞对有司包庇恶人的作法非常气愤，下令再详细调查，将二人犯的种种罪行具状上报州府，并附信揭露张鳌“持贵”到处写信游说，为子侄开脱，“书谏无一衙门不重迭投递，过往赣州的士大夫无一不请脱求情”。
由于海瑞的刚正不阿，按《大明律》行事，连打带罚，最后使二犯伏法，百姓拍手称快。海瑞在淳安的另一项被人称颂的政绩，就是清理积案，平反冤狱。淳安属严州府管辖，因为他断了许多冤案，在府治属县颇负“青天”之名，因此，严州府各县遇有疑难案件，也移送到淳安县处理。如《吴吉祥人命参语》《徐继人命参语》等十余起命案，或假案、或错案、或移花接木案都十分离奇复杂，但海瑞审案认真，事关人命的案子，绝不敢马虎从事。
这种“参语”类案件，方志上有详载，后来为小说家加以改造和宣染，诸如《大红袍》《小红袍》《生死牌》等，就是以海瑞办案为题材写成的。海瑞断案如神的清官形象自此流传民间。海瑞在淳安任上两次进京，一路旧服素食，路费仅用银四十八两，其他一概裁革。他生活上不奢侈，“俸薪之外无所取”，“含辛茹苦，垂百之年，终不使廪有余粟，囊有赢金”。
在南京任吏部尚书时，由于年高体弱，“尝病延医，入视室中，所御衾帱皆白布，萧然不啻如寒生”。他有一双旧鞋经过多次修补，仍然穿在脚上。老母过华诞，他仅买二斤肉为母祝寿，总督胡宗宪听后大为惊奇，把它作为新闻传播一阵。其清廉本色可见一斑。隆庆元年（1567）海瑞官至南京通政司右通政，后又升巡抚，所辖苏州、常州、镇江等十府。
上任之初，他满以为应天地方是富饶的鱼米之乡，但后来发现江南“粮差”的繁重不仅为全国之冠，而且亘古未有，百姓穷苦得有无米下炊之虞。再加上这一时期江南又发生水灾，夏、秋频雨，田地被淹，粮米涨价，农民缺衣少食，百姓生活在水深火热之中，加之吴淞江下游河段，“日至潮泥，月有积累，日月继嗣，通道填淤”，而太湖又泄水不畅，遇上连雨年头，周围十万亩良田常被淹没，酿成大灾。
海瑞认识到水患的严重性，提出“吴淞江一水，国计所需，民生攸赖，修之举之，不可一日缓也”，面对严峻的治水、救灾形势，他迎难而上，决计“救民于水火”，采取了“以工代赈”之法，按工发给灾民银两和口粮，将救灾和治水两相结合，抓到了点子上。治水工程启动后，饥民云集，“得食者气力倍增”，工程进度很快，按计划疏通了从上海南跑口至嘉定黄渡间一万四千丈之河道，又疏浚常熟的白茆河，变水害为利。
这两项工程耗银六万八千余两，使“吴松江借饥民之力，而故道可通；民借银米之需，而荒歉有济，一举两得”。“以工代赈”，利在当前，功在长远，不仅解决了十几万灾民的吃饭穿衣问题，而且为日后该地区发展农业生产，战胜灾荒提供了可行的经验。二嘉靖四十四年（1565）十月，在京任户部主事的海瑞上疏，论朝政得失，实则专论今上嘉靖帝朱厚熜本人失德荒政，即“直言天下第一事疏”。
