魏霸自幼父母双亡，与兄弟们同住一起，一家人和睦相处，令邻居们十分羡慕。建初年间，魏霸被推举为孝廉，和帝时升任巨鹿太守。任职期间，他的下属如果有了过失，魏霸总是先给他们一些机会，先劝慰说服他们自己反省改过，如果执意知错不改的，魏霸这才罢免他们。有官吏到他面前说别人的坏话，魏霸总是说那人的长处，始终不说那人的短处，这样那说坏话的人自己就感到惭愧了，也就不再说坏话了。周围的官员下属因此都很尊敬和佩服他。

永元十六年，魏霸被任为大匠，主持建造顺陵。当时正值隆冬，地都被冻了，所以施工很迟缓，宫中的使者为此多次惩罚县吏，而魏霸从来不严厉责骂他们，只是安抚他们，慰劳他们说：“让各位受污辱，这都是我的过错。”这些官吏心存感激，都尽力工作，施工进展快了好几倍。

人都有缺点和犯错的时候，以权势压人，这最多只能让人表面服从；而宽恕大度待人，这才能从根本上改变人心。魏霸就是因为注重自己的德行修养，待人宽恕，能够设身处地的为他人着想，所以周围人都很信任、服从和尊敬他。