彥謙早年就成為孤兒，不認識自己的父親，被母親的兄長收養(yǎng)。哥哥彥詢頗有鑒別能力，認為彥謙天性聰明穎悟，每每對他感到驚奇，便親自教他讀書。七歲時，他已能背誦數萬字的書籍，宗親們都感到很驚異。十五歲那年，過繼給叔父房子貞，侍奉繼父繼母像親生父母一樣。子貞憐愛他，對他撫養(yǎng)十分優(yōu)厚。繼母去世，他五天不吃不喝。對待伯父房豹，也盡心盡力。四季的時鮮果品，伯父沒有吃，自己就不敢先嘗。遇到喪葬，他必定蔬食素餐，恪守禮節(jié)，宗族們都效法他。以后受教于博士尹琳，手不釋卷，貫通了《五經》。講解和寫作，頗有口才和文才，風度超過常人。

　　十八歲那年，齊廣寧王高孝珩為齊州刺史，征用他為主簿。當時，綱紀松弛，州郡的官員大多放縱自為。彥謙到任后，清靜簡潔，執(zhí)行法度，州境之內，上下肅然，官吏百姓無不敬畏。北周的軍隊進入鄴城，北齊君主向東逃跑，任彥謙為齊州中從事。彥謙痛惜本朝滅亡，準備召集忠義之士，暗中密謀恢復舊業(yè)，事情沒有成功而停止。北齊滅亡，彥謙回到家里。周武帝宇文邕派柱國辛遵任齊州刺史，辛遵被盜賊首領輔帶劍捉獲。彥謙寫信勸諭輔帶劍，帶劍畏懼慚愧，將辛遵送回齊州，各路盜賊都歸順自首。隋文帝稱帝之后，房彥謙在鄉(xiāng)里悠閑自得，發(fā)誓再也不愿做官。開皇七年(588)，刺史韋藝堅持舉薦他，不得已他才答應。吏部尚書盧愷一見面就很看重他，破格授予他承奉郎，不久調任監(jiān)察御史。后來南陳被平定，他奉命安撫泉州、括州等十州。因完成使命頗受文帝稱許，賞賜給他布帛一百匹，米一百石，衣服一套，奴婢七人。

　　又遷任秦州總管錄事參軍。朝臣上朝時，左仆射高赹決定考核官吏們的政績。房彥謙對高赹說“；《書經》上說三年對官吏考核一次，以提拔優(yōu)異的，黜退庸劣者。唐堯、虞舜以后各代都有自己的法度，降免和提拔都能合理，表揚和批評都不缺少。于是，提拔一定能得到賢能的人，罷免的都是無才無德的小人。如果執(zhí)行謬誤，法規(guī)就等于虛設?？纯锤髦莸目己?，執(zhí)行的情況各不相同，進用和汰減的多少，數目都不一樣。更何況長官對下級或愛或憎，任意憑感情用事，使得那些乖巧刁鉆的人仕途卻很平坦；清廉正派，孤傲耿直的，未必能夠高升；卑膝獻媚，刁鉆取巧者，反而居于上等。真假混淆，是非顛倒。達官顯要如不嚴格挑選，認真取舍，那些被他們提拔任命的下級官吏，就會多數是靠蒙混投機獲得成功的；沒有經過政府批準的，都不知道自己不被選拔的原因。另外，天下四方距離遙遠，很難做到詳細考核，惟有弄清人數，一半黜退，一半保留，只計算官員數量的多少，不要管他好壞的多少。想求得公允恰當，實在沒有辦法。您洞察幽微，公平待物，現在所考核的，一定沒有受冤枉的。假如出現了前面說的那幾件事，不知道您怎么處理？只希望您廣泛地布置耳目，認真了解下面官吏的情況，表揚他們細小的成績，批評他們輕微的過失，不但是非曲直分明，大道得行，而且也足能夠獎勵賢能清俊之士。”說時語氣慷慨，引起旁觀者的注目。高赹也為之動容，長長感嘆贊賞。因而詢問他河西、隴右一帶官員的清形，彥謙聲音洪亮，對答如流。高赹對各州總管、刺史說“：與你們談話，不如單獨同房彥謙談話。”以后數日，高赹將彥謙的意見告訴給文帝，文帝竟沒有采納。

　　因在秦州任職期滿，他調任為長葛縣令。很有惠政，百姓都稱他為慈父。仁壽年間，文帝命使臣持節(jié)巡行各州縣察看官吏能力的大小，認為彥謙為天下第一，提拔他為都州司馬。長葛縣的官吏百姓號啕大哭，互相訴說：“房明府現在離去，我們還活個什么！”以后百姓們思念他，立碑歌頌他的功德。都州長久沒有刺史，州中政務都歸房彥謙管理，也同樣政績卓異。內史侍郎薛道衡為一代文宗，名望清雅顯著，交結的都是海內名人賢士。他十分看重房彥廉的為人，對彥謙極為友愛和敬重。道衡任襄州總管，與彥謙書信往來不斷，雙方的信使常常在路途上交錯而過。煬帝繼位，道衡又轉任番州，途徑彥謙的住所，留連多日，最后灑淚而別。

　　黃門侍郎張衡也與房彥謙相友善。當時，煬帝正大肆營建東都洛陽，宮殿都極其華麗，令天下人大失所望。再則，漢王楊諒反叛，被牽連獲罪的人很多。彥謙見張衡當政而又不能匡救時弊，便寫信告誡他，說：

　　“我聽說獎賞可以勸善，處罰可以懲惡。所以就是對于那些地位卑賤的人，有了善事也一定給予獎賞；對于地位高，有才能的人，有了過錯也一定要懲罰。不應該懲罰避開自己的親友，獎賞遺漏了卑賤的人?，F在，國家恰好承受美好的命運，天子有如百姓的父母，賞罰獎懲，是非曲直，上天都可以知道，就是處在很遠的地方，皇天也能夠照臨，所以，應該謹慎嚴肅。

　　“至于并州的謀反事件，須要查清辨明。如果楊諒確實因為皇帝的詔命沒有傳達到他那里，他考慮到國家面臨危難，調集兵力，聚眾起事，并不算違犯朝廷法紀，則應當體諒他的本意，再討論對他的處罰。這樣，上可以符合圣上兄弟友愛的心意，下可以解除百姓們疑惑的念頭。

　　“圣人認為最珍貴的東西，就是皇帝的寶座。如果上天不送給你，誰都不能輕意得到。所以像蚩尤、項籍那樣驍勇善戰(zhàn)，伊尹、霍光那樣有權有勢，老子、孔子那樣才智絕倫，呂望、孫武那樣深諳兵術，吳、楚連結，有著磐石般的屏障，都沒有能夠取得帝位。更何況小小的一隅，有如蜜蜂翅膀的扇動，螞蟻的聚集，楊諒的愚笨，群小們的兇惡，想進犯京城輔地，真是妄想??！

　　“自開天辟地以來，都有文字記載。帝王的言語行跡，后人可以詳細知曉。如果不積累道德和仁愛之心，為國家建豐功，為百姓謀厚利，誰能夠使自己的威望讓天人共知，精神感動神靈？所以，古代圣哲的帝王，黎明即起，操勞國事，兢兢業(yè)業(yè)，如履冰上，如懷抱朽爛，小心謹慎。亂世的帝王驕奢荒淫，無所畏懼，凌駕于萬民之上，肆意放縱私欲，史書不可一一記載。

　　“您置身朝廷，天子以大權相托，早已把你看成心腹重臣。你既然身處政治清明之世，應當心存正直，為當世立下重要的誡律，以作為后世的憲典。怎么能允許曲意順從天子，把仁愛之心變成刑罰之舉！”

　　張衡收到房彥謙的書信，感動得長長地嘆息，又不敢奏給煬帝知道。

　　彥謙知道朝廷綱紀敗壞，便辭去官職，隱居林下。準備在蒙山下建屋結廬，以遂退隱的志愿。恰逢朝廷設置司隸官，選取天下知名人士。朝廷認為他公正端方，聲譽顯著，眾望所歸，因此，任命他為司隸刺史。他也慨然有澄清天下的志向，凡是他向朝廷舉薦的，都是人倫表率。如有彈劾，被糾察的人也毫無怨言。司隸別駕劉火乇欺上辱下，任意攻擊別人，卻自以為正直。刺史們都害怕他，見了他都恭恭敬敬下拜。惟有房彥謙對他不卑不亢，見面一揖而已。有見識的人都稱贊他，劉火乇也不惱恨他。

　　大業(yè)九年(613)，彥謙跟隨煬帝到遼東，負責監(jiān)察扶余道的軍事。后來，隋朝政治逐漸混亂，朝臣們大多改變節(jié)操。彥謙堅守正道，有如平常，頗為執(zhí)政的權要嫉恨，將他調出京城，任涇陽縣縣令，死在任上。

　　彥謙在家鄉(xiāng)居住時，子侄們來問安，他常給他們講解處世的道理，督促勉勵他們一番。態(tài)度懇切勤勉，不知疲倦。家中有祖上留下的舊業(yè)，資產素來殷厚，加上他前后做官所得的俸祿，都用來接濟親戚朋友，所以家中沒有多余的錢財。他乘坐的車馬，穿戴的衣服，使用的家具，都務必簡樸省儉。從少年到成年，一言一行，從不涉及私人的事情。雖然屢次導致錢囊羞澀，卻怡然自得。曾從容獨自發(fā)笑，對他的兒子房玄齡說：“別人都因俸祿致富，我卻獨因做官而貧困。所留給子孫的，只有清白??！”他所寫的文章，氣派宏大，風格閑雅，有古人的深意。又擅長寫隸字，人們如果能得到他的書信，都珍藏展玩。太原的王劭、北海的高構、..縣的李綱、中山的郎茂、郎穎、河東的柳..、薛孺，都是一時著名的高雅清俊人物，彥謙都與他們結交為友。他家里雖然高朋云集，冠蓋相望，而卻沒有一個行為卑下的客人。他舉止文雅，十分通達政務，有見識的人都用行為遠大贊許他。

　　當初，隋文帝平定南陳之后，天下歸為一統，論者都說天下將要太平。彥謙卻私下里對他所親近的趙郡人李少通說“：皇上性情疑忌峻刻，不采納別人的建議。太子懦弱平庸，諸王在各地擅作威福。朝廷只實行苛刻嚴酷的政治，沒有表現出恢宏遠大的氣魄。天下雖然安定，我卻憂慮動亂就要到來?！崩钌偻犃瞬灰詾槿?。等到仁壽和大業(yè)之際，他的話果然都被驗證。