魏霸自幼父母双亡,与兄弟们同住一起,一家人和睦相处,令邻居们十分羡慕。建初年间,魏霸被推举为孝廉,和帝时升任巨鹿太守。任职期间,他的下属如果有了过失,魏霸总是先给他们一些机会,先劝慰说服他们自己反省改过,如果执意知错不改的,魏霸这才罢免他们。有官吏到他面前说别人的坏话,魏霸总是说那人的长处,始终不说那人的短处,这样那说坏话的人自己就感到惭愧了,也就不再说坏话了。周围的官员下属因此都很尊敬和佩服他。
永元十六年,魏霸被任为大匠,主持建造顺陵。当时正值隆冬,地都被冻了,所以施工很迟缓,宫中的使者为此多次惩罚县吏,而魏霸从来不严厉责骂他们,只是安抚他们,慰劳他们说:“让各位受污辱,这都是我的过错。”这些官吏心存感激,都尽力工作,施工进展快了好几倍。
人都有缺点和犯错的时候,以权势压人,这最多只能让人表面服从;而宽恕大度待人,这才能从根本上改变人心。魏霸就是因为注重自己的德行修养,待人宽恕,能够设身处地的为他人着想,所以周围人都很信任、服从和尊敬他。