張鎬年輕時拜名士吳兢爲師，深受吳兢器重，後遊歷長安，以飲酒、鼓琴自娛，不善與外人交往。若有公卿邀請，他便徑直前往，也僅是求醉而已。
擔任宰相
天寶末年，楊國忠擔任宰相，爲提高聲名，特意蒐羅天下奇傑。張鎬得到楊國忠的推薦，以布衣身份被拜爲左拾遺。天寶十四年(755年)，安祿山、史思明在范陽起兵反唐，楊國忠多次向張鎬諮詢軍國重事。張鎬舉薦贊善大夫來瑱，稱他可獨當一面。來瑱後來果然屢破叛軍。
至德元年(756年)，安史叛軍進逼長安，唐玄宗出逃。張鎬步行扈從唐玄宗，直到蜀地。同年七月，太子李亨在靈武被擁立爲帝，是爲唐肅宗，並尊唐玄宗爲太上皇，唐玄宗便命張鎬去輔佐肅宗。張鎬到鳳翔後，因奏議多有補益，被拜爲諫議大夫。
至德二年(757年)，張鎬拜相，擔任中書侍郎、同平章事。八月，唐肅宗因張鎬文武全才，又讓他兼任河南節度使、都統淮南等道諸軍事。當時，叛軍圍困睢陽，張巡告急。張鎬急速赴援，並傳令濠州刺史閭丘曉，讓他出兵營救。閭丘曉卻擔心戰事失敗禍及自己，逗留不肯進軍，坐視叛軍攻城。
同年十月，叛軍攻陷睢陽，張巡遇害。張鎬大怒，命杖殺閭丘曉。不久，兩京光復，唐肅宗返回長安。張鎬被加封爲銀青光祿大夫、南陽郡公，並鎮守汴州，對叛軍餘孽加以招撫、征伐。十一月，張鎬統帥魯炅、來瑱、李祗、李嗣業、李奐五位節度使，收復河南、河東各郡縣。
兩遭貶謫
乾元元年(758年)，史思明被形勢所迫，上表請降。張鎬擔心朝廷應允，密奏道：“史思明兇殘陰險，包藏禍心，與禽獸相同。我們能以計謀擊敗他，卻難以用仁德感化。”同時又勸肅宗提防滑州防禦使許叔冀的叛亂。但因他從不交結宦官，宦官都在唐肅宗面前極力稱讚史思明、許叔冀的忠誠。唐肅宗遂以“不切事機”爲由，罷免張鎬的相位，改任他爲荊州大都督府長史。
乾元二年(759年)，史思明再次反唐，許叔冀歸降叛軍。唐肅宗想起此前張鎬的進言，徵拜他爲太子賓客，後改左散騎常侍。上元二年(761年)，岐王李珍因謀逆被賜死。張鎬因曾購買李珍的宅邸，也受到牽連，被貶爲辰州司戶。
病逝任上
寶應元年(762年)，唐代宗繼位。張鎬被起復爲撫州刺史，後改任洪州觀察使，改封平原郡公。後來，袁晁起義，江淮震動。張鎬擊破叛軍，斬殺舒城賊首楊昭、新安大豪沈千載，被授爲江南西道觀察使。
廣德二年(764年)九月，張鎬在江南西道觀察使的任上病逝。
軼事典故
唐肅宗曾命數百僧人在內道場唸誦佛經，聲傳宮外。張鎬時爲宰相，進諫道：“臣聽說天子修福，應安養百姓，施行教化，沒聽說依靠佛教就能使國家太平的。”唐肅宗贊同。
