科舉及第後，累任侍御史、兵部員外郎等官。“安史之亂”時，任太原少尹，協助李光弼守太原，頗有功績和謀略，被輿論所推重，升任憲(刑)部侍郎。後，兩次出任宰相。
外任河南副元帥、侍中持節都統河南淮西、山南東道諸節度行營事、東都留守、河東節度使兼太原尹、北都留守等軍事要職，並以“才微位高”、“無益時事”、不應“無功增秩”等理由自謙，讓出高位和兼職。在太原少尹任上，他整肅紀律，從嚴治軍，將恃功自居不受約束的太原舊將王無縱、張奉璋等到以軍法處斬，全軍將校再不敢玩忽職守。
“安史之亂”被平息後，當王維因被安祿山俘虜而受審查時，他誠懇地要求免除自己的官職來爲兄長贖罪，使兄長王維得到從寬處理。兄弟之間的情誼，頗受世人稱讚。
晚年身爲宰相，但面對權臣元載的專橫行爲，卻不敢進行鬥爭，反而事事附和。大曆十二年(777年)，元載獲罪受誅，他也被貶爲括州(今浙江麗水)刺史。後，又被召歸，爲太子賓客、分司東都，直到去世。
一生篤信佛法，任宰相時，大興佛教之風，使大歷年間佛教盛極一時，寺廟雲集，沃壤被佔，僧徒橫行，寺廟成爲藏污納垢之所，導致刑政失修，政治腐敗。
