于謹字思敬，小名巨引。為人深沉而有見識，略略瀏覽一些經籍史書，特別愛好《孫子兵法》。閑居在家，沒有做官的想法。遇到有人勸時，他就說：“州郡一類職務，向來為人所鄙視的，公卿一類高位，須等待時機?！碧自炷乱娏撕?，感嘆地說“；真是王佐之材??！”

　　待破六韓拔陵為首在北境叛亂時，援引蠕蠕作為后援，大行臺元纂領兵討伐，他一向聽說于謹的名聲，便請他當鎧曹參軍事，隨軍北伐。蠕蠕敗逃出了塞外，元纂令于謹追擊，前后打了十七場戰(zhàn)斗，全部招降了敵軍部眾。后來曾率領車騎出塞偵察敵情，突然鐵勒部幾千騎人馬奔馳而來，于謹因為寡不敵眾，便將車騎分散開來，讓他們藏入樹叢深草之中，又派人登山指揮，就像是指揮部眾分開的樣子。賊軍望見后，雖然也懷疑有伏兵，但他們倚仗人多勢眾并不害怕，便繼續(xù)向于謹進逼。于謹過去經常乘坐兩匹駿馬，一紫一黃，敵軍早就熟悉了，于謹便讓另兩個人各乘一匹馬，突圍而出。敵人以為于謹跑了，爭先恐后去追趕。于謹便集合其余人馬，攻擊敵軍的追騎。敵軍只得逃走，于謹人馬因而得以入塞。

　　正光四年(523)，行臺、廣陽王元深興師北伐，請于謹為長流參軍。他特別以大禮迎接，派他的世子佛瞓拜迎。于是，于謹隨廣陽王打敗了敵軍主師斛律野谷祿等。于謹又請求前往敵營中勸降。于謹懂得幾國的語言，便單騎進入敵軍營壘，向他們表達朝廷的恩惠和信用，于是西部鐵勒的酋長也列河等三萬多戶均歸附朝廷，率領部族進遷。廣陽王和于謹到析郭嶺迎接他們。于謹說：“拔陵的軍隊還很多，聽說也列河等來歸附，一定會前來襲擊的。如果被他們先占領險要地方，就難以和他們爭斗。如今我們用也列河作為誘餌，他們必定競相前來抄掠，我們先設下埋伏等待他們，必定輕而易舉地擊敗他們?！睆V陽王聽從他的計策。拔陵果然前來攻擊，他們在析郭嶺上打敗也列河，部眾都陷入敵軍圍困之中。這時，于謹的伏兵四起，敵軍大敗，于謹全部收降了也列河的部眾。

　　孝昌元年(525)，于謹又隨廣陽王征討鮮于..禮。當軍隊到達白牛邏時，正趕上章武王被鮮于..禮所殺，他們便將軍隊停留在中山。侍中元晏在靈太后面前誹謗說：“廣陽王領軍盤桓不肯前進，顯然坐等時機，有非分之想。他身邊又有個于謹，智謀過人，充當他的主謀，恐怕他們不是陛下的忠臣?！膘`太后便傳旨，讓人在尚書省的門外設立榜文，招募能夠捕捉于謹的人，表示將給予重賞。于謹聽說后，請求前往朝廷直接披露自己的真心，廣陽王答應了。于謹便直接來到榜下，揭榜說：“我知道這個人?！北娙艘黄鸩閱査Ｓ谥斦f“：我就是于謹?！惫賳T們把這件事奏明朝廷。靈太后見到于謹后，大為惱怒。于謹詳細陳述廣陽王如何忠于朝廷，并說明軍隊停留在中山的原因。靈太后這才釋放了他。

　　后來于謹又跟著爾朱天光與北齊神武帝在韓陵山對戰(zhàn)，爾朱天光戰(zhàn)敗，于謹因而進入關中。

　　周文帝到夏州時，讓于謹當防城大都督，兼夏州長史。當賀拔岳被害時，周文帝前往平涼。于謹對周文帝說“：關中是秦漢的舊都城，自古號稱‘天府’。如今如能占據各個要害之地，招集四方英雄好漢，足以觀察時局的變化。況且天子在洛陽，被群兇所逼迫。你請求朝廷遷都關內，然后可以挾天子而令諸侯，這是千載難逢的好時機??！”周文帝聽后，大為高興。正好朝廷傳令讓于謹任關內大都督，于謹因此上奏遷都關中的計策。

　　魏帝西遷之后，于謹仍跟從周文帝攻打潼關，攻破了回洛城，并被任命為北雍州刺史，晉爵位為藍田縣公。大統(tǒng)三年(537)，大軍東征時，于謹為先鋒，進軍攻下弘農郡，抓住了東魏陜州刺史李徽伯。齊神武帝到沙苑時，于謹奮力作戰(zhàn)，晉爵為常山郡公。他又跟隨到河橋作戰(zhàn)，被任命為大丞相府長史，兼大行臺尚書。再升任太子太保。芒山之戰(zhàn)時，大軍出師不利，于謹率部假降，列隊立于路的左側。神武帝乘勝向北追擊，并不防備。于謹便從背后攻擊，敵軍大為驚恐。這時，獨孤信又收兵從后面奮力攻打，神武帝軍中大亂，因此西魏大軍得以保全。大統(tǒng)十二年(546)，被任命為尚書左仆射，領司農卿。當侯景前來歸附，請求派兵援助時，于謹進諫說，侯景的真心難以揣測，可是周文帝不肯聽從。不久于謹又兼大行臺尚書、大丞相長史，領兵鎮(zhèn)守潼關，并被加授為華州刺史，賜給他用黑黍和香草釀成的美酒一尊，玉王圭、玉瓚一對。不久又被任命為司空。恭帝元年(554)，任雍州刺史。

　　當初，梁元帝在江陵繼位時，曾秘密地和北齊聯(lián)絡，準備侵擾西魏。梁元帝哥哥的兒子岳陽王鮞當時為雍州刺史，他因為梁元帝殺了他哥哥譽，便有了仇隙，把所據有的襄陽來投降西魏。朝廷命令出兵討伐梁朝。周文帝在青泥谷設宴為于謹餞行。長孫儉問于謹“：替蕭繹設想該采取哪種計策？”于謹說“：顯耀軍威于漢、沔，傾其全力以渡江，直上攻占丹陽，是他的上策；遷移城郭中的居民，退守子城，等待援兵到達，是他的中策；如果難以遷移人口，堅守城郭，是他的下策?！遍L孫儉問“：判斷蕭繹會采用哪種策略？”于謹說：“肯定采用下策。”長孫儉問“：什么原因？”于謹回答“：蕭氏占據江南，已綿延幾代人之久，正好中原地區(qū)多事，沒來得及對外擴張。又因為我們有北齊這個外患，他們一定認為我們的力量難以分開。況且蕭繹為人懦弱而且沒有謀略，多懷疑慮，難作決斷。愚蠢的人難以考慮事情的始因，都貪戀安居城池，他既然厭惡遷移，當然就要堅守外城。所以肯定采用下策?！庇谥斆钪猩焦钗淖o和大將軍楊忠等先占領江邊渡口，斷絕梁人的退路。梁人在外城樹立起木柵，一圈周長六十里。不久于謹兵到，他命令全軍將城團團圍住。過了十六天，外城被攻破，梁帝只得退保子城。第二天，梁元帝率領太子以下文武百官，自縛出城投降。不久于謹便將他們全殺掉了，俘獲城中男女十多萬人，收了梁朝府庫中的所有珍寶，得到宋時制作的渾天儀、梁朝的日晷、銅表、魏國的相風鳥、銅盤龍趺座、大玉直徑四尺，周圍長七尺以及各種車駕，帝王所用各種器物獻給朝廷，軍隊沒有私留一點東西。同時，立蕭鮞為梁帝，統(tǒng)領全軍凱旋。周文帝親自來到于謹的府中，設宴暢敘，極為歡樂。賞于謹奴隸一千人和梁朝的一些寶物，并有金石絲竹器樂一部，加封為新野郡公。于謹堅決辭謝，但周文帝不允許。周文帝又令樂官制作了《常山公平梁歌》十首，讓樂工演奏歌唱。

　　于謹認為自己久擔重任，掌握大權，如今功名已就，愿意保有悠閑的生活，便獻上先前所乘的駿馬和所穿的鎧甲等物。周文帝明白他的心意，便對他說：“如今強敵未滅，你怎能便想獨善其身呢？”終于不肯接受。建立六部官制時，于謹被任命為大司寇。

　　當周文帝死時，孝閔帝年紀尚幼。中山公宇文護雖受遺命輔政，但他的聲名和職位一向比較低下，眾位高官都想執(zhí)掌朝政。宇文護十分憂慮，便秘密拜訪于謹。于謹說“：我往昔承蒙丞相殊遇和眷顧，今日必當以死抗爭。如果對著眾官定下大計，您一定不要謙讓?！钡诙欤娢还渚蹠套h，于謹說“：往昔帝室行將傾覆，外境艱難，丞相立志保存皇室，匡救于危難之中。今日上天降下災禍，丞相突然拋下百官而去，嗣子雖然年幼，但中山公是丞相的親侄子，并且受命輔助嗣子，軍國大事，理當由他總管?！庇谥斦f話時聲色俱厲，眾人心中都驚懼不已。宇文護說：“這是我家的家事，我怎么敢推辭責任呢？”于謹原是和周文帝同列的朝官，所以宇文護一向十分敬重他。這時，于謹便站立起來，說道“：賢公如果愿意統(tǒng)理軍國大事，我們這些人也就有了依靠了?！庇谑?，他便向宇文護作拜。眾公卿迫于于謹的壓力，也只得拜見宇文護。這樣，眾公卿才作了決定。

　　孝閔帝即位，晉封于謹為燕國公，食邑萬戶，晉升太傅、大宗伯，和李弼、侯莫陳崇等參議朝政。當賀蘭祥征討吐谷渾時，明帝命令于謹遙控指揮這支軍隊，傳授作戰(zhàn)的方略。

　　保定二年(562)，于謹以年老為由，請求朝廷讓他退休養(yǎng)老，但不被允許。保定三年，讓于謹成為朝中的三老之一，于謹堅決辭謝，又不得許可。賜給他延年杖。武帝親臨太學向三老進食。當三老入門時，皇帝迎拜于屏門，三老當即答拜。有關官員在中庭設下了三老的座席，面朝南。太師、晉國公宇文護登階，陳設席位，鋪好小幾。三老入席，面朝南，靠小幾坐下，以老師的身份自居。大司寇、楚國公宇文寧登階，正鞋。皇帝登階，站立在繪有斧形紋的屏風前，面向西。有關官員送來食品，皇帝跪著陳放醬豆，親自卷衣袖割切食物。三老吃過以后，皇帝又親跪向他們送爵(酒杯)，以酒漱口。(古代一種禮節(jié)，《禮記·樂記》“執(zhí)醬而饋，執(zhí)爵而..”)禮畢，有關官員撤下這些東西?；实勖姹闭玖栔螄?。三老便從席上站立起來?；实壅f：“我辱當天下重任，自知缺少才能，不知治理國政的要術，請諸公教誨。”三老答道“：木材經過繩墨以后就方正了，國君聽從勸諫就是賢明的君主，自古以來的明君圣主，都是虛心聽從勸諫，從而知道得失之處，天下因此而得安定，愿陛下經常想到這一點?！庇忠晃徽f：“治國之本，在于忠信之道。古人可以沒有食物，可以沒有軍隊，但卻不可以去掉信用。國家的興廢，無不因此而造成，請陛下謹守而不要失去?！庇终f：“治國之道，必須有法則。法，是治國的制度，不可以不公正。公正表現在賞罰方面，如果有功勞的就要獎賞他，有罪的一定要懲罰，那么做好事的人就越來越多，做壞事的就越來越少。如果有功勞不獎賞，有罪過不懲罰，那么天下就會善惡不分，下邊的人不知道怎么做才好。”又說：“言論和行為，是立身的根基。說過話，行動就要跟上，誠懇地希望陛下認真記住。”三老說完后，皇帝再次向他們拜謝，表示接受教誨。三老也答拜，禮儀完畢后才離開。

　　當晉公宇文護東征時，于謹正在生病，宇文護因為于謹是久經沙戰(zhàn)的老將舊臣，所以還是請他一起出征，以便經常請教謀略。東征回朝后，賞賜給他鐘磬一部。天和二年(567)，又得賞賜安車一輛，不久又任他為雍州刺史。天和三年，逝世，享年七十六歲。周武帝親臨致哀，傳旨讓譙王儉監(jiān)護治喪諸事，并賜給繒一千段，粟、麥一千斛，本官銜外，加封使持節(jié)、太師、雍、恒等二十州諸軍事、雍州刺史，謚號為“文”。下葬時，自王公以下爵位的官員，都送到郊外。并配祭在周文帝的廟堂中。

　　于謹很有智謀，又善于侍奉皇上。他名聲職位雖都很高，但自己卻越加謙遜，自我約束。每次朝見皇帝，來往隨從不過兩三騎而已。朝廷中凡遇到軍國要事，大多和于謹商議處置辦法。于謹也竭盡自己的智慧和才能，所以在功臣當中特別受到信任，自始至終都一樣，沒有人說過他的壞話。他常常告誡自己的幾個兒子，務必常想到清靜寡欲，功成身退。他年紀活得很長，朝廷禮遇十分隆重，子孫成群，都成為有名聲有地位的人，這種情況，當時沒有人可以相比的。他的兒子萛繼承了他的爵位。