桓荣此时年已六十，从前他在九江自办学校，招收的弟子有几百人。他的弟子何汤被提拔为虎贲中郎将，正是由于何汤的推荐，光武帝才征召桓荣的。何汤在老师入朝第一天便提醒他说：“治学和为官是截然不同的。治学讲究严谨、认真，而为官却在乎通融、应变，老师有此机遇，当不可太固执了。”

桓荣一声未吭，何汤又说：“皇上虽为明君，却也喜欢奉承喜言，太子更不可得罪，老师不要对他过于严厉。”

桓荣听他说完，不高兴的说：“你为我的弟子，难道还不了解为师吗？为师一生治学，最爱君子之道，本无意为官。今见天下大治，天子圣明，这才应召的。你为官不久，竟学会了官场的权术谄媚之道，还以此教我，我真为你感到痛惜啊。”

桓荣于是辞官，光武帝却不批准，和桓荣交谈数次之后，光武帝连连称赞他说：“你说的太好了，得到你，是国家的大幸，只是太晚了些。”

他当即任命桓荣为博士，不料桓荣却坚决推辞，口说：“臣无德无能，陛下一时心喜，就任我官职，未免失之草率。若论学问，臣不及同学郎中彭闳、扬州从事皋弘，陛下还是重用他们比较合适。”

光武帝感慨说道：“读书人虽口不言利，言不好名，然而又有几人能真正做到呢？你是个难得的君子，自我谦虚不说，还能荐举别人，不慕权位。”于是坚持让他担任博士之职，还提拔彭闳、皋弘做了议郎。

彭、皋二人向桓荣致谢，桓荣却不让他们進自己家的门，他派人传话说：“天子圣明，才会重用你们，与我何干呢？要谢，你们当谢皇上，勤于政事，为国尽忠，这才是你们该做的。”

一次，光武帝到太学视察，正赶上各位博士在争论不休，不少人争的面红耳赤，嘴里滔滔不绝，惟有桓荣言辞温和，也少有不敬之色。光武帝对随从自己的官员说：“有理有敬，这才是儒士本色，只有桓荣做到了。”

光武帝几次要提升桓荣的官职，桓荣都辞谢说：“陛下垂爱于臣，是臣的万分荣幸。臣于国并无大功，若贪誉而受，必让陛下遭人非议，说陛下任人不公。这样陛下有嫌，而臣亦难堪了。”

太子经学有成，学业精進，桓荣喜在心头，却要求辞去太子师傅的职位。他几次上书光武帝：“臣蒙陛下厚爱，有幸教导太子，今日太子凭其聪慧，经义皆通，臣理当辞归。”

有人劝他不该请辞，且说：“为太子之师，此乃荣耀之本，他日太子登基，其荣更不可估量。他人求之不来，你何以轻轻弃之？”

桓荣回答道：“似你多思，我又何以能任太子之师呢？正因此职荣宠，我才不敢恋据。”

太子刘庄后来即位，为汉明帝。汉明帝深敬桓荣，“犹尊桓荣以师礼”。他曾亲自到太常府去，让桓荣坐东面，设置几杖，像当年讲学一样，聆听老师的指教。他还将朝中百官和桓荣教过的学生数百人召到太常府，向桓荣行弟子礼。桓荣生病，汉明帝亲自登门看望，每次探望老师，他都是一進街口便下车步行前往，以表尊敬。

桓荣去世时，汉明帝亲自穿起孝服，为其送葬。