祖父赵次山看到了就喝叱他说：“你小小年纪读书，应该学习勤劳刻苦的精神，怎么连一点点寒冷都忍受不了呢？你要知道，在朝为官，就算是寒冷的冬天下雪的时候，不到五更天，就得排班等候朝见皇帝，终免不了要忍受寒冷之苦的。一个人如果还没老就享受老年的福，一定没有办法活到老；如果没有富贵就先享用富贵之福，也终究不可能达到富贵的地位。”

方崖公恭谨领受祖父的教训，最后官至大司寇。