張公謹早年曾效力於王世充，任洧州長史。618年(武德元年)，張公謹與洧州刺史崔樞投降唐朝，被任命爲鄒州別駕，累遷至右武候長史。621年(武德四年)，徐圓朗反叛，攻陷楚丘(今河南滑縣)，欲圍攻虞城。河南道安撫大使任瑰命崔樞、張公謹率領各州豪強作質子的子弟一百多人去守衛虞城。副使柳浚道：“崔樞和張公謹原來都是王世充的部下，各州人質的父兄也都反叛了，這一去恐怕會叛變。”任瑰沒有理會。在張公謹二人的堅守下，叛軍難以攻破虞城，撤軍而去。
輔佐秦王后來，張公謹在徐世績、尉遲恭的引薦下，被秦王李世民召入秦王府。當時，李世民與太子李建成、齊王李元吉不和，向張公謹求取自保之策。張公謹的回答很合李世民的心意，從此逐漸受到器重。 [3] 626年(武德九年)，李世民欲誅殺李建成、李元吉，但又猶豫不決，便命人占卜以測吉凶。此時，張公謹從外而入，將占卜的龜殼扔在地上，並道：“占卜是爲決定疑難之事，現在事情並無疑難，還佔卜什麼?如果占卜的結果不吉，難道能夠停止行動嗎?”李世民深表贊同。六月四日，張公謹與長孫無忌等九人埋伏在玄武門外，發動玄武門之變。李建成、李元吉死後，其黨羽馮立、薛萬徹、謝叔方等人率軍趕到玄武門，欲爲太子和齊王報仇。張公謹勇力過人，獨自關閉大門，將馮立等人擋住門外，馮立等人最終潰散。七月，張公謹升爲左武候將軍，封定遠郡公。
隨平突厥627年(貞觀元年)，張公謹出任代州(今山西代縣)都督，並上表朝廷請求實行屯田。此後，張公謹對時政得失多次進言，都得到唐太宗李世民的採納。 629年(貞觀三年)，張公謹上奏朝廷，認爲可以討伐東突厥，並列舉六條理由：“頡利可汗奢華殘暴，誅殺忠良，親近奸佞，此其一;薛延陀等部落均已叛離，此其二;突利、拓設、欲谷設均得罪頡利，無地自容，此其三;塞北地區經歷霜凍乾旱，糧食匿乏，此其四;頡利疏離族人，委重任於外族，胡人反覆無常，大唐軍隊一到，必然內部紛亂，此其五;漢人早年到北方避亂，至此時人數較多，近來聽說他們召聚武裝，佔據險要之地，大軍出塞，自然內部響應，此其六。”唐太宗遂任命兵部尚書李靖爲行軍總管，討伐東突厥，張公謹爲副總管。 630年(貞觀四年)，頡利兵敗，遣使請降，唐太宗命鴻臚寺卿唐儉前去撫慰。李靖與李勣(即徐世績)在白道會軍，打算出兵偷襲東突厥。張公謹得知後，反對道：“皇帝已接受他們投降，而且唐儉還在突厥，怎能出兵進攻?”李靖不聽，發兵出擊，終於平定了東突厥。
