北魏太和十七年(493年)，於謹出生，河南洛陽人。少年時代的他性情深沉，頗有見識，而且度量過人。喜好讀經史書籍，尤其愛好《孫子兵法》。他早年隱居在鄉里，沒有做官出仕的志向。有人勉勵他，於謹說：“州郡級別的官職，是前人所鄙視的，想要做到三公的職位，必須等待時機的到來。我之所以在郡邑悠閒自得，是暫且打發時光而已。”太宰元穆看到他之後，讚歎說：“他將來是輔佐帝王的人才。”北魏正光四年(523年)，破六韓拔陵在北部邊境起事，引柔然作爲應援，大行臺僕射元纂率軍討伐他。元纂一向聽說過於謹的名聲，就徵召他任鑑曹參軍事，讓他從軍北伐破六韓拔陵。柔然聽說北魏軍逼近，就逃出邊塞。元纂命於謹率兩千騎兵追趕柔然，追到鬱對原，前後交戰十七次，把柔然的兵衆全都招降。後來他率輕裝騎兵出塞窺視柔然軍，碰上鐵勒的幾千騎兵突然來到，於謹認爲寡不敵衆，如要退軍必然走不脫，於是分散他的騎兵，讓他們躲藏在草木叢生的地方，又派人登山指揮，好像佈置兵馬的模樣。鐵勒兵看見了，雖疑心有伏兵，但仗恃着人多勢衆，並不恐懼，就進兵逼近於謹。於謹因爲常常騎一匹紫色和一匹黑嘴黃色的駿馬，敵兵先前都認識，於謹就派兩個人各騎一匹，衝出敵陣而去。敵兵以爲是於謹，都爭着追趕。於謹於是率領其餘的人馬殺過去，追趕的騎兵就逃走了，於謹因此得以進入邊塞。
大敗叛軍
正光五年(524年)，行臺廣陽王元深出兵北伐，引薦於謹爲長流參軍，對他特別禮遇。所有的謀議，都和於謹商量。元深還讓自己的兒子元佛陀拜見於謹，如此親密地對待他。於謹和元深打敗了敵軍首領斛律野谷祿等人。當時已是北魏末年動亂時候，羣盜蜂擁而起，於謹就從容地對元深說：“自從正光以後，海內紛擾，郡國殘破，農商廢業。如今殿下奉行大義征討，從遠方來到邊關塞地，然而醜惡的人像螞蟻一樣聚集，他們的徒衆實在很多，如果窮兵黷武，恐怕不是上策。我於謹願憑藉大王的威略，快馬前去曉諭他們，一定可以不用兵甲，就達到平定他們的目的。”元深深以爲然，於是派於謹前去招撫。於謹同時懂得幾族的語言，就單騎進入敵軍當中，向他們宣示恩信。於是西部鐵勒的酋長乜列河等人，率領三萬多戶人家一起歸附，相隨着往南遷徙。元深準備和於謹去折敦嶺迎接他們。於謹說：“破六韓拔陵的兵衆不少，他得知乜列河等人前來歸附，一定會來攔擊。他如果先佔據了險要，就難和他爭勝。如今用乜列河等人來引誘他，他必然會來搶掠，然後我們埋下伏兵等待着，一定很容易打敗他。”元深同意這個計策。破六韓拔陵果然前來攔擊，在嶺上把乜列河打敗，乜列河的部衆都被他掠走。於謹的伏兵衝出來，叛軍就此大敗，全部將乜列河的部衆收降過來。孝明帝元詡嘉賞於謹，任命他爲積射將軍。
屢隨征戰
孝昌二年(526年)，於謹又隨廣陽王元深征討鮮于修禮。大軍停駐在白牛邏，正逢章武王元融被鮮于修禮殺害，於是將軍隊停駐在中山。侍中元晏告訴太后胡氏(胡太后)說：“廣陽王以宗室的重要身份，受命負責征伐，現在卻徘徊不前，坐觀待變圖謀不軌。又有個叫於謹的，智略超人，是他的主要謀劃者。在戰亂之際，他恐怕不是陛下的忠臣。”胡太后完全採納了他的話。下詔命在尚書省門外張貼告示，招募能抓獲於謹的人，答應予以重賞。於謹聽說後，就對元深說：“現在女主臨朝執政，信任讒佞的小人，如果不能表白殿下的真心，便恐怕災禍很快就會降臨。我於謹請求親自到朝廷投案，向有關部門自首，表白真心，自會免除災禍。”元深答應了他。於謹就來到佈告下說：“我知道這個人。”衆人都問他。於謹說：“我就是。”有關官吏得知後上報。胡太后引見於謹，十分惱怒。於謹詳細地訴說了元深的忠誠，並陳述了停駐軍隊的情況。胡太后的怒意逐漸緩解，於是放了他。不久他被加授爲別將。當時，南朝梁將領曹義宗據守穰城，多次在北魏邊境侵擾。孝明帝就命於謹和行臺尚書辛纂率兵征討。相持數年，經歷了幾十決戰鬥。於謹升任爲都督、宣威將軍、冗從僕射。 武泰元年(528年)，孝莊帝元子攸即位，任命於謹爲鎮遠將軍，不久改任直寢。又跟隨太宰元天穆征討葛榮，平定邢杲，拜爲徵虜將軍。跟隨爾朱天光打敗万俟醜奴，被封爲石城縣伯，食邑五百戶。普泰元年(531年)，任徵北大將軍、金紫光祿大夫、散騎常侍。又跟隨爾朱天光平定宿勤明達，另外再討伐夏州賊寇賀遂有伐等人，將他們平定，授任大都督。他跟隨爾朱天光同高歡在韓陵山作戰，爾朱天光戰敗後，於謹就進入潼關。賀拔嶽上表將於謹留下鎮守，任命他爲衛將軍、咸陽郡守。
獻策西遷
太昌元年(532年)，宇文泰到了夏州，任命於謹爲防城大都督。兼任夏州長史。永熙三年(534年)，賀拔嶽被殺害，宇文泰前往平涼。於謹就對宇文泰說：“魏朝國運衰微，權臣專權，成羣的盜賊蜂擁而起，百姓嗷然。明公仗着世間少有的英姿，胸懷濟世的才略，四方遠近的人，都已歸心。希望您早作打算，不要辜負衆人的期望。”宇文泰說：“我應該怎麼做呢?”於謹回答說：“關中是秦漢舊都，古人稱之爲天府，這裏將士驍勇，土地肥沃，南邊有富饒的巴蜀可以依靠，北邊有豐饒的牛羊牧產。現在我們如果佔據要害的關內，召集關內英雄，養兵勸農，富國強兵，足以坐觀關東時局的變化。況且魏天子在洛陽爲羣雄所逼迫，如果向天子陳說你的誠意，說明時局的利害，請求天子建都在關西，天子必定嘉許而西遷。然後您挾天子以令諸侯，奉皇命以伐暴亂，這是齊桓公、晉文公那樣的事業，這可是千載難逢的機會。”宇文泰深以爲然。正好孝武帝元修敕令將於謹調回任閣內大都督，於謹趁機獻上遷都關中的計策，北魏孝武帝採納了他的意見。不久，高歡聽說孝武帝有西遷的打算後率軍進逼洛陽，於謹隨北魏孝武帝西遷。接着他又跟隨宇文泰出征潼關，攻下回洛城，被任命爲使持節、車騎大將軍、儀同三司、北雍州刺史，晉爵爲藍田縣公，食邑一千戶。
擔任要職
大統元年(535年)，於謹被授任驃騎大將軍、開府儀同三司。大統三年(537年)，夏陽人王遊浪聚衆佔據楊氏壁叛亂，於謹出兵討伐並擒獲了他。同年，西魏軍東出征討東魏，於謹充當前鋒，進軍到盤豆。東魏將領高叔禮據守險要城池與西魏對峙，於謹擊敗了他，俘虜兵衆一千人。趁此又攻下弘農，擒獲東魏陝州刺史李徽伯。大統三年(537年)十月，高歡抵達沙苑，沙苑之戰爆發。於謹隨宇文泰和將領們奮力作戰，打敗了高歡，晉爵爲常山郡公，增加食邑一千戶。大統四年(538年)八月，於謹又隨宇文泰在河橋作戰，任大丞相府長史，兼任大行臺尚書。稽胡帥夏州刺史劉平叛亂，於謹率兵討伐平定了他。因功任大都督、恆並燕肆雲五州諸軍事、大將軍、恆州刺史，入任太子太師。大統九年(543年)，於謹又跟宇文泰東出征討，進攻柏谷塢，大勝。同年，東西魏爆發邙山之戰，西魏軍失利，於謹率領他手下的兵馬假裝投降東魏，站在路旁。高歡的軍隊乘勝追擊逃兵，不曾戒備。等追擊的騎兵過完了，於謹就從後面攻擊他們，東魏軍驚慌失措。獨孤信又聚集兵士在後奮力衝殺，高歡的軍隊就亂了起來，因此西魏軍得以保全。大統十二年(546年)，於謹任尚書左僕射，領司農卿。到侯景歸附西魏時，請求西魏派兵作爲支援，宇文泰命李弼帶兵接應他。於謹勸諫說：“侯景年輕的時候就通曉軍事謀略，他如今的意圖很難窺測。應當先給他厚禮高官，看他有什麼動作。現在馬上派兵去接應，大爲不可。”宇文泰沒有聽從於謹的勸告。不久宇文泰又讓於謹兼任大行臺尚書、丞相府長史，帶兵鎮守潼關，加授華州刺史，贈給他秬蒨酒一卣，附帶上圭瓚。不久任司空，增加食邑四百戶。大統十五年(549年)，於謹升爲柱國大將軍。大統十六年(550年)，高歡之子高洋篡位稱帝，建立北齊，宇文泰出兵征討，任命於謹爲後軍大都督。另封他的一個兒子爲鹽亭縣侯，食邑一千戶.西魏恭帝元年(554年)，任雍州刺史。
攻殺樑帝
當初，南朝梁元帝蕭繹平定侯景之亂，在江陵繼位，祕密與北齊通使，打算侵犯西魏。梁元帝兄長的兒子岳陽王蕭詧當時任雍業刺史，因爲梁元帝殺死了蕭詧的哥哥蕭譽，雙方就結下怨仇。蕭詧佔據着襄陽前去歸附西魏，並請求西魏派兵支援。西魏恭帝元年(554年)，西魏朝廷就命於謹率兵出征，宇文泰在青泥谷爲他餞行。長孫儉問於謹說：“你替蕭繹打算一下，他會採取什麼樣的辦法?”於謹說：“在漢、沔炫耀兵威，把軍民財物統統帶上渡過長江，只據守丹陽，這是他的上策;遷徙外城內居民，退守子城，加高外牆，等待外援，這是他的中策;如果難於遷徙，據守外城，這是他的下策。”長孫儉說：“那蕭繹會用哪個計策呢?”於謹說：“他一定會用下策。”長孫儉說：“他爲何會放棄上策而用下策?”於謹回答說：“蕭氏據守江南，經歷了幾十年。正逢中原多事，沒有顧得上向外經略。又認爲我們有北齊爲患，一定分不出兵力。而且蕭繹怯懦無謀，多疑慮而少決斷。愚民難以與之謀劃事情的開始，都留戀城裏原來的住宅，既然不願意遷移，就得據守外城。所以說他會用下策。”於謹於是派中山公宇文護和大將軍楊忠等人，率領精銳騎兵先佔據長江渡口，切斷樑人出逃的道路。樑人在外城豎立木柵，周圍六十里。不久於謹就到了，將軍隊全部調來把城圍起來。梁元帝多次派兵在城南出戰，立即就被於謹打敗。圍了十六天，外城陷落。梁元帝退守子城。第二天，梁元帝率領太子以下的臣民，反綁着手出城投降。於謹俘虜了南樑男女十多萬人，收繳了府庫中的珍寶。得到南朝宋的渾天儀、南樑的日晷銅表、曹魏的相風烏、銅蟠螭趺、直徑四尺周圍七尺的大玉和那些輿輦法物都帶回獻上，軍隊沒有私佔財物。立蕭詧爲樑國皇帝，整頓部隊凱旋而歸。宇文泰親自到他的第宅，和於謹飲宴笑談極爲歡洽。賞賜於謹奴婢一千口，還有南樑的寶物，以及金石絲竹樂一部，另外加封新野郡公，食邑二千戶。於謹堅決推辭，宇文泰不准許。叉命樂官作了十首《常山公平梁歌》，叫樂工歌唱。
擁護輔政
於謹自認爲長期掌握權勢，地位聲望隆重，功名既已建立，情願保住悠閒的生活，就把他所乘的駿馬和所穿的銷甲等獻上。宇文泰明白他的意思就說：“如今巨猾還沒有平定，你豈能就獨善其身。”就沒有接受。西魏恭帝三年(556年)正月，六官制度建立，於謹任大司徒。西魏恭帝三年(556年)十月，宇文泰去世，宇文泰世子宇文覺還幼小，中山公宇文護雖然接受了宇文泰的臨終遺託，但名望地位向來低下，各位王公大臣們都圖謀執掌朝政，沒有誰肯順服他。宇文護很是擔憂，私下找於謹請教。於謹說：“我早就蒙受丞相的特別關懷，遺恩情和骨肉至親一樣深。今天的事情，我一定會以死相爭。如果面對衆人確定國策，那您一定不要辭讓。”第二天，各位王公聚集在一起商議。於謹說：“過去帝室傾覆危敗時，人人企圖問鼎。丞相立志匡扶拯救帝室，揮袖操戈，才使國家的命運得以中興，百姓得以安生。如今上天降禍，丞相突然離棄百官。嗣位的世子雖然幼小，中山公則像他的兒子那樣親，加上他親自接受了丞相臨終的委託，軍國大事，理所當然應該歸他掌理。”說的時候言語神色嚴厲，衆人都被震驚了。宇文護說：“這是我們的家事，我平時雖然平庸愚昧，但怎敢推辭。”於謹既和宇文泰的資歷地位相等，字文護常對他表示禮貌尊敬。到此時，於謹就走上前說：“您如果統理軍國大事，那我們這些人就有依靠了。”於是向宇文護跪拜了兩次。王公大臣們受到於謹的逼迫，也跟着跪拜了兩次，因此大家的意見才確定下來。
武帝尊崇
北周孝閔帝元年(557年)，宇文護擁立宇文覺爲帝，建立北周，史稱孝閔帝，於謹被進封爲燕國公，食邑一萬戶。升任太傅、大宗伯，和李弼、侯莫陳崇等人蔘議朝政。到賀蘭祥討伐吐谷渾時，於謹遙領軍隊，教授策略。保定二年(562年)，於謹因年老，上表請求辭去官職。周武帝宇文邕下詔說：“過去姜尚年過九十，召公奭幾乎接近一百歲，都爲王室效勞，自強不息。如今朝內元兇尚未剷除，九州還沒有統一，正打算以您作爲舟楫，廣泛救助解脫艱難，豈能讓您忘記姜尚、召公二公的美好情操，而有這樣的請求。我爲此感到慚愧。您如果再堅持謙遜，有關官員應當拒絕啓奏。”保定三年(563年)四月，周武帝下詔說：“樹立元首，主持教化，讓百姓遵奉孝悌，使仁者長壽。所以古代賢明的帝王，都按這種典制，設立三老五更，親袒右膊切割牲肉舉行敬老的禮儀。我以渺小之身，居於帝王之位，怎敢遺棄老人，不加以尊敬。太傅、燕國公於謹，品德淳樸，是國家的元老，給他舉行鎖食乞言的禮儀，讓朝廷內外都矚目。可任命他爲三老，有關官員應備好禮儀，選擇好日子上報。”於謹上表堅決推辭，周武帝下詔不準。又賜給他延年杖。周武帝前往大學爲他饋食。三老入門，周武帝在大門和屏風之間迎拜，三老回拜。有關官員在中楹設置三老的席位，面向南方。太師、晉國公宇文護登上臺階，在席前設置几案。三老入席，向南緊靠几案坐下，以老師的身份自居。大司寇、楚國公豆盧寧登上臺階，把於謹的木屐放正。周武帝登上臺階，站在畫着斧頭的屏風之前，面向西方。有關官員遞上菜飯，周武帝跪着擺設醬碟，親自捲袖露臂切肉。三老進食完後，周武帝又親自跪着遞送漱口的酒。有關官員撤掉了筵席。周武帝面向北面站立着向於謹請教治國之道。
死於任上
保定四年(564年)，晉公宇文護出兵東伐北齊，於謹當時已經因年老病倒，宇文護因爲他是宿將舊臣，仍請求他一同前往，在軍事戰略上請教他。大軍回來，賜給他鐘磬一部。天和二年(567年)，宇文護又賜給他安車一乘，不久授任雍州牧。天和三年三月二十三日(568年5月5日)，於謹死於任上，終年七十六歲。周武帝親自前往弔唁，下詔令譙王宇文儉監護喪事，賜給繒彩一千段，粟麥五千斛，追贈他原有的官職，加授使持節、太師、雍恆等二十州諸軍事、雍州刺史，諡號爲文。到下葬時，王公以下的官員，都送葬到郊外。將他配祭在太祖的廟庭。
