事实证明，他的猜测得没错，从此，他果真再不能正经读书了。
他们终于到达了益州境内的一处穷荒的小村，这里仅有几十户人家，家家户户住的都是毛坯土房，那些如同他一般大的孩子都是赤脚在地上跑，这里的人连饭都吃不饱，又怎会有私塾，更可悲的是，便是他饱读诗书的父母有心教授他读书习字，却是连笔墨纸砚这些东西都寻不到。
待将他们一家三口押送到这穷乡僻壤之地，连那负责押送的钦差都忍不住面露同情之色。
这里，真是太穷太苦太恶劣了。
七岁的裴允谦，从未见过这样的地方，而他往后的人生，却不得不在这里扎根。
好容易安顿了下来，他一家人早已经饥肠辘辘，他母亲摸着他的头，心疼他吃了一路的干粮，要给他做一顿热饭，可他进了那熏黑的厨房，却是无从下手，他第一次见到母亲盯着那破了一个角的漆黑大铁锅默默落了泪。
后来，为了在这里活下来，白日他那曾任翰林大学士的父亲下地去与那些整日赤脚的农夫一起耕作，她母亲便在家里忙碌，缝缝补补，洗衣做饭，每日忙碌个不停，那出身名门的母亲，仙女一样的女子，不到半年便被折磨得一病不起。
这里没有医者，人生病只能听天由命。
他和父亲眼见着母亲的病越来越重，除了叹息，他们没有一点儿办法。
有一日，裴允谦打柴归来，他在门口听到了父母的谈话。
他母亲郭氏对他父亲说道：“你莫要难过，这是我的命，我死了倒是不足惜，我只是可怜咱们的谦儿，他还这么小，若是困在这里一辈子，他可就毁了。”
他听到那一向坚强正直的父亲哽咽的回道：“是我连累了孩子，我对不住你们母子。”
他母亲拉住他父亲的手，说道：“益州的雍亲王妃是我的姨表姐，论起来我们已经是远亲了，但是闺中时候，我们也曾一起玩耍过，是谈得来的”
不待母亲说完，他父亲便叹气道：“我如今乃罪臣，莫说一个远房亲戚，便是至亲的族人，都要对我退避三舍，人家又凭什么帮咱们。”