20岁时，张遂到京都长安拜师求学。长安元都观有位博学多闻的道士尹崇，张遂经常去拜谒尹崇，向他借书看。有一次张遂借了一部东汉杨雄写的《太玄经》，这是一部晦涩难懂的哲学著作，讲了许多自然科学知识。过了几天，张遂便把书还给了尹崇。尹崇以为张遂是觉得这部书太深奥，失去了兴趣，便来还书。当张遂拿着自己写的读书笔记向他请教时，尹崇看后大吃一惊，因为尹崇对这本书已研究多年，却没有搞明白，而张遂已经看懂了书中的道理。从此，张遂在长安名声大振。

武则天登基后，其侄武三思被封为梁王，官居尚书。武三思颇爱沽名钓誉，到处拉拢文人名士来抬高自己的身价。武三思指名要与张遂结交，张遂秉性正直，不屑与之为伍，就假托有病，闭门不见。时间长了，武三思多方设法拉拢，张遂无计可施，便产生了遁世出家的打算。公元705年，他入嵩山崇阳寺（河南省登封县）削发为僧，改名敬贤，法号“一行法师”，在嵩山跟随普寂师父修习。从此张遂的名字，渐渐埋没。后世人只知一行，不知张遂。

出家之后，一行除了研究佛学外，又研究天文、历算。并且周游各地。到了天台山国清寺（即今浙江省天台县）修行多年，直到睿宗景云二年（西元711年）才回到嵩山崇阳寺，就在那一年，朝廷派员到嵩山征召一行出山为国服务，他托病谢辞，后来又作第二次出游，到了荆州当阳县玉泉山（今湖北省当阳县），就在那里研究佛学及其他学识不再回嵩山了。

在佛教受到朝廷高度重视的唐朝，想在嵩山出家躲避红尘，对于才名出众的一行来说很不现实。朝廷多次有意吸纳多才多艺的一行入朝参政，但视功名利禄为累赘的一行婉辞不受。

唐玄宗开元五年（西元717年）一行被族亲推荐回到长安。皇帝立即召见，安排在光太殿居住。不久让他在华严寺和印度来华的僧侣，翻译多部佛经，传导密宗的教义。皇帝时常召见，垂询安国抚民之道。深得玄宗信任。

中国古代农耕与历象、节气关系密切，因此历代帝王无不重视天文。自唐玄宗开元九（西元721年）开始，一行奉旨改革历法工作，从实测天文着手。可是那时太史监所存天文仪器，都已破旧，不堪使用，只好重新计划制造。就在皇宫丽正殿当作工场，制造黄道游仪的最初模型，然后奏请皇帝用铜铁铸造。于开元十二年（西元724年）制造成功。第二年制造水运浑仪的结构，再用铜铸造成功。该仪结构复杂，而且奇巧，可以反映日、月、五星运行规律的浑天仪。又是一个自动计时器，利用水力推动，每时辰自动击鼓，每一刻自动撞钟。可以说是全世界最早的第一台天文时钟。

一行发动大规模观测队，先于开元十二年（西元724年）召集测量人员于丽正殿书院议事，分配工作，校正尺度，取黄河之南北平原为中心，曾在阳城建立一座八尺日规，并立一个石表（即石柱）上刻周公测景台。

制造天文仪器，进行大规模观测之后，一行于开元十二年开始编写新历法，尽量参考从前历法优点，从上古六历，汉代太初历，甚至唐朝麟德历，又经四年长时间过滤，才告成功，名为《大衍历》。《大衍历》共有52卷之巨，结构严谨，条理分明。

公元728年，《大衍历》颁行天下后，风靡一时，深受欢迎。《大衍历》比著名数学家祖冲之等前人编撰的历法，都要准确得多，还对日本、印度的历法产生过重大影响。《大衍历》颁定不久后传入日本，公元763年，日本淳仁天皇诏令废除日本的《仪风历》，改用中国的《大衍历》。自公元727年《大衍历》问世以后，直到明朝末年采用西方历法的近900年时间里，每次修订历法都是以《大衍历》为基础，可见其影响之深远。300年后，北宋著名科学家沈括对《大衍历》还十分推崇，他说：“开元《大衍历》最为精密，历代用其朔法。”

一行创造了世界天文学史上的三个第一：首次测量地球子午线长度；第一次提出了月亮比太阳离地球近的论点；第一次发现恒星运动。一行是世界上最早发现恒星运动的科学家。通过观察，一行比较正确地掌握了太阳运动的规律，他还发现了恒星位置移动的现象，比英国天文学家哈雷在公元1718年提出的恒星自行的观点要早1000年。1982年国际上将月球划分为几个区域，将其中的一个区域命名为“一行”。

到了开元末年，裴宽为河南府尹。他笃信佛教，以师父之礼对待嵩山的普寂禅师，白天晚上都去拜访他。有一天，裴宽又到了普寂处，普寂说：“我正有件小事，无暇与你漫谈，暂请在此休息一下。”裴宽悄悄地来到一间空房子，见普寂清洗完正面殿堂，点上香，端坐在那里。没坐多久，突然听到敲门声，连声说道“天师一行和尚到了。”

一行走了进来，到普寂跟前行礼，行完礼之后，贴近普寂的耳朵悄悄说话，样子极其恭敬。普寂只是接受，毫无不同意的表示。密语完了又行礼，行礼完了又密语，如此反复多次，普寂只说“是、是”，没有不应允的。一行说完后，走下台阶，进了南屋，自己把门关好。普寂便徐徐吩咐弟子道：“放钟！一行和尚灭度了！”身边的人急忙跑过去查看，果然象普寂法师说的一样。