杨绾不喜扬名，年轻苦读时，每当有所撰述，并不拿给别人去看。后来参加殿试，名列第一，被任为右拾遗。

杨绾几次升任中书舍人，按照当时的旧例，任舍人时间长的人称为阁老，可以拿走官署俸料钱的五分之四。到了杨绾这里，他一点都没有拿，将钱全部平均分给了舍人。

皇帝也了解杨绾的为人，非常敬重他，授任其为中书令，同中书门下平章事。士人纷纷在朝廷互相庆贺，杨绾坚决辞让，但皇帝没有允许。

去拜访杨绾的人，杨绾都与他们清谈终日，从不谈及名利。来人如果为了私事求他，听了他的话，必定会内心惭愧而停止。

杨绾非常俭省节约，他从不过问生计之事，俸禄全分给了亲戚故友。当时的御史中丞崔宽非常奢侈，在城南建造了一所别墅，里面亭池楼阁富丽堂皇，在当时首屈一指。在杨绾被升任为宰相的当天，崔宽便派人去拆毁了。还有京兆夷黎干，平时出入随从的车马有一百多，这时也立即减少，只留下了十多个骑兵随从。中书令郭子仪在邠州行营，正举行大宴会，授任杨绾为宰相的诏书一到，他立即将宴会的音乐撤去五分之四。

史书上说象这样听到消息而自觉变的俭省节约的，不可胜数，这都是杨绾的威信和俭朴的美名所致，当时的人都将杨绾比作东汉“天知、地知、你知、我知”“暗室慎独”的杨震、西晋“竹林七贤”之一的山涛和东晋良相谢安这些有德行的人。