“由吾道荣”听说有个晋阳人精通法术，就寻访。这个晋阳人在别人家当雇工，无人识得他，由吾道荣寻访了很久才找到他。这个晋阳人精通道家的阴阳历数、天文、药性，看到“由吾道荣”向道，就都传授给他。

这个晋阳人对“由吾道荣”说：“我本来是天上的恒岳仙人，因为犯了小罪过，被天官谪贬下人间。如今期限满了，将要返回天庭。你送我到汾水吧。”到了汾水，正逢水暴涨，把桥冲断了，渡船很难渡过河去。恒岳仙人临水施展道术，水流就截断了。片刻，截住的水流积到将要达到天那样高度。恒岳仙人慢慢踩着河底沙石过河。而这另外空间的景象只有“由吾道荣”看到。旁人却看不到，都说：“水流如此长，此人却能浮过去。”都很惊异。

“由吾道荣”就回到琅琊山隐居修行，只吃松籽、茯苓，探求长生的秘诀。不久，北齐显祖皇帝高洋追往晋阳，途中走到辽阳山，有猛兽出现，离骑的马只有十步，骑马的人受惊恐怖，吓得要逃走。“由吾道荣”用手杖画地成火坑，吓跑了猛兽。不久，正逢北齐灭亡，“由吾道荣”顺应天意归顺了北周，一直活到隋朝初年。

（《北齐书 卷四十九》）