卓茂一开始任丞相府史，有一次出门时，有个人说卓茂骑的那匹马是他的，卓茂问那人：“你丢马多长时间了？”那人说：“一个多月了。”卓茂有这匹马都好几年了，知道这人肯定弄错了，但还是默不作声的将马交给了那人，自己拉起车往回走，回头说：“如果这不是你的马，请送到丞相府还给我。”
过了些时候，那人在别的地方找回了自己的马，知道自己弄错了，于是到丞相府将马还给了卓茂，并且叩头向他谢罪，卓茂对此毫不介意。
史书上说卓茂一生都是这样遇事不喜欢与人争执。人大多视自己的利益为最重要的，而卓茂遇到被人误会时不去与人争执，不但甘心蒙受冤屈，而且将本是自己的东西拱手让人，心中平静如常，这的确是有修养有德行的人才能做到的。
卓茂后来因为德才兼备被推荐任为侍郎，升任河南密县县令。他为官忠诚、谨慎、诚恳、爱民如子，重视礼教，用善行来教化百姓，口中从来没有恶言恶语，属下和百姓都喜欢他而不忍心欺骗他。没过几年，当地教化大行，路不拾遗。
汉平帝时，大范围发生大蝗灾，河南二十多个县都遭灾严重，可蝗虫唯独不进密县地界。督邮（监察属县的官员）向太守禀报这件事，太守并不相信，亲自到密县去查看后，这才不得不信，并对卓茂的才德深为佩服。
不难看出，密县能够在大蝗灾中安然无恙，正是由于密县当政者卓茂德才兼备，他用善行德政化及百姓，使整个地区人心向善，道德回升，这符合了天理，所以自然得到了上苍的赐福和护佑，远离天灾人祸。
卓茂升任京部丞，要离开密县时，密县的男女老少都哭着为他送行。但不久王莽篡位，政局黑暗混乱，卓茂便称病罢官回到了家乡，不肯再担任官职。当官不为个人的功名利禄，如德政得不到施展，不能为国为民造福，便辞官归隐，他的节操由此可见一斑。
等到光武帝刚即位，他早就闻知卓茂的学问德行过人，于是首先派人求访卓茂，并下诏书，赞美他束身修德，节操敦厚坚毅，能做到别人所做不到的事。并且说名冠天下之人，就应当受到天下最重的赏赐，以前武王伐纣，重修比干之墓，表彰商容的故里。所以光武帝将卓茂任为太傅，封褒德侯，食邑二千户，赐给众多器物钱财，还提拔卓茂的儿子，并委以重任。