张行成，字德立，是定州义丰人。年轻时师从刘炫学习经史，刘炫对门人说：“张行成体态气度方正，是辅佐朝廷的良才。”隋朝大业末年，察举孝廉，任谒者台散从员外郎。后来任世充的度支尚书。王世充被平定，以他在隋朝的资历补授熟尉。家贫，代替计吏集于京城，考中制皋乙科，改任陈仓尉。高祖对吏部侍郎张锐说：“现在铨选的官吏中难道没有才能特别突出的吗?朕要任用他们。”张锐推荐张行成，调补富平主簿，以才能出众而有名。后召入朝中补授殿中侍御史，行使间距揭发弹劾监察等职责时严肃公正。太宗认为他很有才干，对房玄龄说：“古今用人没有不通过别人推荐的，像张行成这人，是朕亲自举用，没有别人介绍和推荐。”

有一次陪侍宴会，皇帝谈到山东人和关中人，语意有所偏向。张行成说：“天子以四海为家，不能以东西作为界限，这样是向人表明自己狭隘了。”皇帝称好，赐名马一匹、钱十万、衣服一套。从此遇上大的政事，都让他参议。多次迁任到给事中。皇帝曾对群臣说：“朕做人主，兼行将相事务，岂不是剥夺了你们大家的名分，舜帝、夏禹王、商汤王、周武王得到后稷、蒐、尹伊、吕尚后四海平安，汉高祖有了萧何、曹参、韩信、彭越后天下安事，这样事朕一身兼有。”张行成退下后，上疏说：“隋朝丧失正道，天下大乱，陛下拨乱反正，拯救百姓于水火之中，周代、汉代君臣如何能与陛下相比。虽然这样，仍是美德含光光耀后世，规制宏大见识深远。左右文武官员确实没有将相之才，何须在大庭广众之中与他们较量，损害皇上的尊贵，与臣下争功呢?”皇帝高兴地接受了他的意见。

这一年，皇帝巡幸灵州，下诏皇太子随徒。张行成谏劝说：“皇太子应该留下监国，每天面对百官庭理各种政务，既做到以京城为重，同时向天下显示盛德。”皇帝认为他的话是忠言。迁任侍中、兼刑部尚书。

高宗即位，封张行成为北平县公，监修国史。永徽四年，从三月到五月不下雨，张行成心中畏惧，称年老乞求退休，皇帝下制答复说：“过去罢免宰相的做法，违背了皇帝检讨自己的真义。这是朕缺少德行，并不是宰相的罪过。”于是赐予他宫女、黄金器物，敕令不要再辞官。张行成坚决要求辞去宰相，皇帝说：“你是朕的旧臣，为什么要弃朕而去呢?”说着悲伤地流下眼泪。张行成惶惑恐惧，不得已又庭理政事。没过多久，在尚书省官舍逝世，终年六十七岁。皇帝下诏九品以上官员前往府第哭丧祭吊。到敛尸时，三次派遣使者赐给内衣，尚宫住在他家监护。追赠开府仪同三司、并州都督，用少牢之礼祭祀，谥号叫定。