一次，卫灵公与夫人南子在宫中夜坐，听到外面辚辚的车马声，快到宫门时声音停了，过了一会又响了起来。南子说：“这一定是蘧伯玉。”灵公问：“你怎么知道？”南子说：“我听说，按照礼节，臣子过宫门要下车以表示尊敬。忠臣和孝子不会在大庭广众信誓旦旦，不会在黑暗中改变自己的操守。蘧伯玉是卫国品行端正的大夫，仁而有智，恭敬尽忠。他不会因为没人看见就不遵守礼节的，应该是他了。”灵公派人去看，果然是蘧伯玉。

成语“伯玉知非”说的就是蘧伯玉，他非常谦虚恭谨，能够时刻反省自己的过失和错误，并努力去改过。

蘧伯玉二十岁时，就能够反省自己以前有很多的过失，并努力改过。到了二十一岁，发现自己还有很多过失需要改正。就这样年复一年，日复一日，总是这样不断反省着自己，严格要求自己不断上进。到了五十岁时，他发现自己四十九年来做的都很不好。

有一次，蘧伯玉派人到鲁国看望孔子。孔子请来人坐，问他：“伯玉还好吗？”那人说：“伯玉想减少自己的过错，却做不到。”那人走后。孔子对蘧伯玉和其使者大加赞赏。

卫灵公重用蘧伯玉这样的贤德之臣，把卫国治理的日益强大。晋国大将赵简子原想讨伐卫国，派人到卫国探视。探视的人回来告诉赵简子：“蘧伯在卫国当政，不可以加兵。”赵简子于是便马上取消了攻打卫国的计划。

蘧伯玉虽已去世，但他的德行却令后人钦佩不已。东汉文学家班昭作《东征赋》对其赞赏。到了唐朝，唐玄宗追封蘧伯玉为“卫伯”。后来宋真宗又追封其为“内黄侯”，在长垣建祠对他进行祭祀。祠内有“君子堂”、“及圣堂”、“知非轩”、“寡过轩”等。