然而，所有的风光终止于三年后。
安宜县县太爷得罪了权贵，被人寻了个错处定了罪，关入了大牢，县太爷一家，都没什么好下场。
作为女婿，杨文礼自然战战兢兢的。好在杨家没受到牵连，但杨文礼从此以后却对妻子开始不耐烦了。
他妻子原本就因为娘家遭了大难担忧不已，很快就病倒了，结果往日恩爱有加的丈夫突然变了脸色，更是让她心如死灰，不到一年，便撒手人寰，留下尚且年幼的杨鹤。
杨志福夫妻两个对杨文礼的做法也是非常的痛心，可毕竟是自己唯一的儿子，除了打骂一顿，总不至于断绝关系的。
更何况，他妻子去世后，杨文礼确实也悔恨不已，带着唯一的儿子终日以泪洗面。
杨志福两人见状，也不好再责怪他，反倒还要安慰他振作起来，早日考取功名，将来替岳家洗脱罪名，还他们清白。
杨文礼答应的好好的，可转头就说自己已经完全看不进书，根本就没办法考取功名了。他说不想做官，因为被岳家的下场给吓怕了。
杨志福夫妻两个无法相信，然而亲眼见到一日比一日瘦弱的儿子，夫妻两个心软了。
不考就不考吧，杨家的产业足够养活他，就算收收地租佃租也行，身体还是最重要的。
大不了，培养小孙子继续读书，他们还年轻呢。
然而，没多久杨志福夫妻就发现他们的想法……太天真了。