后来，他的姐夫也不幸去世了。于是，冉·阿让就做了一名修剪树枝的工人，收入却很微薄。七个年幼的孩子经常吃不饱饭，有时还从别处偷拿了食物跑出来，害得冉·阿让追在他们屁股后面给他们结账。一天，冉·阿让看见七个可怜巴巴的孩子快要饿死了，他看了看姐姐家中，穷得连一片面包都没有，于是他偷偷钻到一个面包店拿了一块面包。
从此，冉·阿让就被当成小偷，关进了监狱。当他被关押时，他只听说过他姐姐和七个孩子的一些简单状况，似乎很糟糕，再后来就没有任何消息了。被关进监狱的冉·阿让被判了五年，期间，他企图越狱四次，每次越狱都会多增加几年，四次逃跑连着增加了十四年，加起来就是十九年。十九年，已把一个小伙子变成一个饱经沧桑的中年人人，这对于任何一个人来说，都是难以接受的。
出狱后的冉·阿让拿着他坐过牢的黄色护照，处处遭人冷眼，在他想要住旅馆遭到拒绝后，他就想住到拴马的马房里，即便是这样，旅馆的女主人还是死活不同意，最后把他撵了出去。走投无路的冉·阿让就顺着原路返了回去，他想继续回到监狱里住一宿。他朝着监狱的看守说，他只住一晚，等天一亮，他就会离开。看守监狱的人就对他说，监牢又不是客栈，于是，他就灰溜溜的走了。
疲惫不堪的冉·阿让后来找到一处狗窝，刚想稍稍休息一下，可是，那狗却一直朝他狂吠个不停，他觉得连狗都在欺负他，不得不起身离开。没人收留、被狗咬的冉·阿让被一个叫米利埃的主教收留了，这位善良的主教才不管外面什么风言风语，他极力地对这个别人都嫌弃的人给予了帮助和照顾，他让他和自己一起用餐，还让他住进自己的住所。
在监狱里呆了十九年的冉·阿让，已经快被磨成一个心智不健康的人了，他认为，善良和恶已经没有太大区别了，将来还是会被人嫌弃的，于是，他就悄悄偷走了主教家中的银器。逃跑的途中，被警察认出他可能是个小偷，经过一番询问后，于是就把他带到主教面前，然而主教却说这是他送给冉·阿让的，因此，也让冉·阿让再次免了一场牢狱之灾。
走出主教住所的冉·阿让没想到这么容易就没事了，十九年劳役，使他的心一面在上升，一面也堕落了。他怀着怨恨的心理，在半路，捡了一个叫小瑞尔威的四十个苏，却不承认是他拿走的。但很快，他就良心发现，想把钱还给小瑞尔威。他蹲在原地等了好长时间，都没有等到那个孩子，于是，他懊恼的哭着喊道：“我是一个无懒！”二、市长与苦役犯之间的身份转换此后，冉·阿让到了一座叫滨海蒙特勒伊的城市，他为自己起了一个叫马德兰的高大上的名字，他自己开工厂，一步步从小做大，成为当地一个有名的企业家。
