早年經歷
張行成早年曾師從河間名士劉炫，隋末時被舉爲孝廉。他在謁者臺擔任散從員外郎，隋亡後又效力於王世充所建立的鄭國，授爲度支尚書。
歷職升遷
武德四年(621年)，李世民滅亡鄭國，逼降王世充。張行成也歸順唐朝，因曾是隋朝官員，被任命爲谷熟縣尉。他家境貧寒，代替縣中計吏留在京城長安，並參加制舉考試，結果考中乙科，被改任爲陳倉縣尉。
武德七年(624年)，張行成得到吏部侍郎張銳的舉薦，調任富平縣主簿。
武德九年(626年)，李世民繼位，史稱唐太宗。後來，張行成在富平縣任職期滿，被召入朝中，授爲殿中侍御史。他執法嚴明，彈劾官員，不畏權貴，深得唐太宗的賞識，後升任給事中，參與朝中大政方針的議論。
輔佐太子
貞觀十七年(643年)，唐太宗立晉王李治爲皇太子，並挑選朝中重臣到東宮任職。張行成時任刑部侍郎，以本職兼任太子少詹事，成爲李治的東宮屬官。
貞觀十九年(645年)，唐太宗東征高句麗，命皇太子李治留守定州監國，並讓張行成與高士廉、劉洎、馬周、高季輔一同輔佐太子，執掌機要政務。 後來，張行成又赴行在覲見唐太宗，獲得大批賞賜。
貞觀二十年(646年)，唐太宗返回長安，以張行成爲河南巡察大使。張行成回朝後，又代理尚書左丞。是年六月，唐太宗巡視靈州(治今寧夏靈武)，命李治隨行。張行成卻建議讓太子留京監國，接待百官，決斷政務。唐太宗採納了張行成的意見，還加封他爲銀青光祿大夫。
擔任宰相
貞觀二十三年(649年)，唐太宗病逝。太子李治在張行成與高季輔的擁戴下，即位於太極殿，史稱唐高宗。他任命張行成爲侍中，兼刑部尚書，並封北平縣公，監修國史。
永徽二年(651年)，張行成升任尚書右僕射、同中書門下三品。
永徽三年(652年)，唐高宗立陳王李忠爲皇太子，命張行成兼任太子少傅。
病逝任上
永徽四年(653年)九月，張行成病逝於尚書省官署，終年六十七歲。唐高宗廢朝三日，賞賜東園祕器，命九品以上官員登門致哀，而後又命宮中女官到張府督理喪事，以少牢之禮祭祀。張行成被追贈爲開府儀同三司、幷州都督，諡號爲定。
弘道元年(683年)，張行成獲許配享太廟，附祭於高宗廟廷。
