杨荣祖先是划渡舟维持生活的舟夫，在他曾祖父时代，曾经发生洪水，冲毁了居民房屋，许多灾民及财物都被洪水漂流下来，很多划渡舟夫，都乘机争着去捞取漂流的货物，只有杨荣曾祖父和祖父，划着船不顾自己的安危，全心全力地拯救沉溺水中的灾民，对于漂流的货物，却一点也没有捞取。其他舟夫都由此发了横财，只有杨氏父子，依然划渡维生。当时乡人都暗中讥笑他父子俩，真是太愚痴了，但是杨氏父子却因救了人而感到非常欣慰。

到了杨荣父亲这一代，家境才渐渐宽裕。有一天，来了一位修道的神人，经过杨家门前，对杨荣的父亲说：“你祖父和父亲积了阴德，将来子孙必当贵显，你可以把你父亲和祖父安葬在某地，这是所谓的白兔坟地。”杨家就按照指示的地点安葬。

后来杨家生了杨荣，自幼聪明灵敏，很有才智，又好读书，年轻时代就中举进士，起初任编修官，其后累进为谨身殿大学士，官至工部尚书。杨荣办事敏捷，谋画政事，果敢决断，经历成祖、仁宗、宣宗、英宗四朝皇帝，都受重用，与杨士奇、杨博并入内阁，号称三杨。后来杨荣官至三公，皇帝还追赠其祖父及曾祖同样官阶。杨荣去世后，皇上特赠予太师官阶，赐谥号文敏。子子孙孙都很昌盛，曾孙杨旦官至两广总督，吏部尚书。（《明史》）