王玄謨字彥德，太平郡祁縣人。六世祖王宏，官至河?xùn)|太守，封爵綿竹侯，因?yàn)樘檬逅就酵踉视鰜y，辭官回家在新興居住。后又繼續(xù)當(dāng)新興雁門兩郡太守，這是王玄謨自己說的。祖父王牢，在慕容氏那里做上谷太守。后被慕容德攻陷俘虜，住在青州，父親王彥，早逝。

　　玄謨小時(shí)候便與眾不同，族父王蕤頗會(huì)相人之術(shù)，常常微笑著對(duì)人說：“這孩子氣概不凡，有我們家祖中的太尉王允的風(fēng)格?！彼挝涞垩膊煨熘荨＿x他為從事史，和他談話時(shí)覺得他氣概不凡。少帝末年，謝晦當(dāng)荊州刺史，請(qǐng)求他當(dāng)南蠻行參軍，武寧太守。謝晦造反失敗，因?yàn)樗皇侵鲙浂辉?，元嘉年中，補(bǔ)任長(zhǎng)沙王劉義欣鎮(zhèn)軍中兵參軍兼任汝陽太守。

　　當(dāng)時(shí)魏人攻陷滑臺(tái)，俘虜朱修之而去，王玄謨上了一道奏章說：“國(guó)家的土地剛開拓，馬上便淪陷了，不僅有天時(shí)的原因，更是人力之故，虎牢、滑臺(tái)的失守，不僅僅是將軍的無能，更是因?yàn)閲?guó)家根基不牢。國(guó)家根基不牢，則是因百姓害怕遠(yuǎn)方的征役。臣下請(qǐng)求從西陽的魯陽、襄陽的南鄉(xiāng)征調(diào)武器和士兵，分為兩路，直接攻崤山，澠池，軍隊(duì)沒有遠(yuǎn)距離運(yùn)輸?shù)膿?dān)心。將士們有經(jīng)常休息的快樂。如果讓我國(guó)東方部隊(duì)來攻取虎牢和洛陽，道路遙遠(yuǎn)，攻克就更難了?！蓖跣兌啻纬蔬M(jìn)北伐的計(jì)策。文帝對(duì)殷景仁說：“聽到王玄謨上來的奏策，讓人有封狼居胥的氣概?！币院笏?dāng)義安侯劉義賓輔國(guó)司馬，彭城太守。義賓死后，王玄謨上疏說由于彭城正當(dāng)水路陸路的中心，請(qǐng)求讓皇帝的兒子鎮(zhèn)撫徐州，于是文帝讓武帝劉駿來此鎮(zhèn)守。

　　到了大舉北伐的時(shí)候，朝廷讓王玄謨做寧朔將軍，率前鋒進(jìn)入黃河，接受輔國(guó)將軍蕭斌的指揮，王玄謨率兵攻向石高石敖，敵人戍守的將領(lǐng)逃走。于是進(jìn)圍滑臺(tái)，好幾十天還沒攻下，魏國(guó)皇帝拓跋燾正率領(lǐng)大軍號(hào)稱百萬向南進(jìn)攻。軍鼓的聲音，震動(dòng)天地。王玄謨率領(lǐng)的軍隊(duì)也很嚴(yán)肅整齊，武器精銳，但王玄謨剛愎自用經(jīng)常殺人立威。剛開始包圍石高石敖時(shí)城內(nèi)有很多茅屋，將領(lǐng)們請(qǐng)求用火矩綁在箭上射進(jìn)去燒毀它們。王玄謨怕減少我們戰(zhàn)利品的數(shù)量，沒有聽從。而城中的人馬上便把這些茅屋撤掉。魏國(guó)諸將的救兵將到的時(shí)候，將領(lǐng)們請(qǐng)求用兵車筑成堡壘自保，王玄謨又不聽從，將士們很有怨言。他撈取各種錢財(cái)一匹布要求調(diào)換人家八百只梨子，因?yàn)檫@些大失人心。到拓跋燾的軍隊(duì)來時(shí)，于是迅速退兵，他手下的士兵逃亡死亡光了。蕭斌要?dú)⒌羲驊c之說：“拓跋燾威震天下，率百萬大軍南來，王玄謨?cè)趺茨艿謸酰瑲⒌糇约旱膶㈩I(lǐng)削弱自己，不是好計(jì)策！”蕭斌才沒有殺。當(dāng)初王玄謨剛要被殺，夢(mèng)到人家告訴他：“朗頌觀音經(jīng)一千遍便可以免除這個(gè)災(zāi)難?！毙蚜耍薯炈靡磺П?，明日他將被處決，仍然朗頌不停。突然有人傳呼停止行刑。他被派代替別人戍守石高石敖。江夏王義恭，當(dāng)征討都督，認(rèn)為石高石敖不能防守，召他回來，他被魏軍追擊，王玄謨大敗敵軍，飛箭射中他的肩膀。元嘉八年(431)正月回到歷城，劉義恭給王玄謨寫的信說：“我聽說你反敗為勝，肩膀上的金瘡，未必不是金印的前兆！”

　　劉邵殺文帝時(shí)，王玄謨當(dāng)冀州刺史。孝武帝討伐劉邵。王玄謨派洛南太守垣護(hù)之率兵參加討伐行動(dòng)大事平定，調(diào)他當(dāng)徐州刺史，加都督號(hào)，在南郡王劉義宣和江州刺史臧質(zhì)造反時(shí)，朝廷暫任王玄謨輔國(guó)將軍，拜官豫州刺史和柳元景共同向南討伐。他的軍隊(duì)駐守梁山。夾著大江修成彎月形的堡壘。

　　不久又當(dāng)豫州刺史，淮河流域的亡命之徒，司馬黑石推舉夏侯方進(jìn)當(dāng)皇帝，改他的姓為李弘，用此蠱惑眾人。王玄謨攻打并消滅他們，升官寧蠻校尉，雍州刺史加上都督，雍州的人多是北方遷來的僑居者，王玄謨請(qǐng)求以當(dāng)?shù)氐牡亟鐬榫€劃這些人為當(dāng)?shù)厝恕．?dāng)時(shí)的百姓不愿屬于當(dāng)?shù)丶?，此事作罷，當(dāng)年，王玄謨又叫九品以上的官員上交租稅，縮小窮富之間的距離。雍州境內(nèi)的官員無不怨恨，民間謠傳王玄謨想造反，當(dāng)時(shí)柳元景正掌權(quán)，元景的弟弟僧景做新城太守，柳僧景借助元景的聲望，下令南陽、順陽、上潘新城各郡同時(shí)調(diào)集軍隊(duì)討伐王玄謨。王玄謨叫他手下的人安靜不動(dòng)，以解除眾人的懷疑，又派人迅速向孝武帝報(bào)訊。陳述事情的來龍去脈，孝武帝知道真情，迅速派主書吳喜公安慰他，又寫信談梁山的問題，“開始時(shí)我并不在乎，君臣之間正應(yīng)相互保護(hù)，你姑且開心一笑，讓你眉頭開朗”。王玄謨性格嚴(yán)肅，從未輕笑，當(dāng)時(shí)的人說王玄謨眉眼從來沒有舒暢過。所以孝武帝用這來戲答，以后他又當(dāng)金紫光祿大夫。兼任太常官職，創(chuàng)建明堂時(shí)，又以本官兼起部尚書。再領(lǐng)北方人的選拔工作。

　　孝武帝親近和侮辱群臣，根據(jù)各人的相貌安排每人的外號(hào)，須多的人稱他為羊，顏師伯缺幾顆牙齒，稱他為齒彥。劉秀之吝嗇，稱為老慳。黃門侍郎宗靈秀身體肥胖，朝拜起立不方便，每到君臣集會(huì)時(shí)，總是賜給他很多物品。想叫他謝恩。拜跪時(shí)翻倒在地，作為笑話。又刻畫木頭做宗靈秀父親光祿勛宗叔獻(xiàn)像，送到他家廳堂正中樹立起來，柳元景垣護(hù)之都是北方人。而只王玄謨被稱為老傖。孝武帝的稱謂在下給各地的文告都照樣，有次孝武帝替王玄謨作了一首四時(shí)詩說：“堇荼花供應(yīng)春季的飲食，細(xì)粟的漿當(dāng)做夏天的餐食，瓞瓜醬當(dāng)做秋天的菜羹，白醋解除冬天的寒涼?！毙⑽涞塾謱檺垡粋€(gè)山昆山侖奴隸，名叫白主，常常安排在左右，叫他拿拐杖打眾大臣，從柳元景以下都遭到毒打。

　　王玄謨，不久升官平北將軍，徐州刺史加上都督號(hào)。當(dāng)時(shí)北方正在發(fā)生饑荒。于是他散發(fā)自家的谷物十萬斗，牛一千頭用來拯救饑民。又兼官領(lǐng)軍將軍。

　　孝武帝逝世，他和柳元景都接受臨終托付。外面的軍事事務(wù)委托王玄謨。當(dāng)時(shí)朝廷權(quán)力出自好幾個(gè)人。王玄謨因?yàn)閲?yán)肅剛正不被容納。轉(zhuǎn)官青州、冀州二州刺史，加都督號(hào)，前廢帝已屠殺了顏師伯、柳元景等。犯亂一天比一天狠，又用領(lǐng)軍將軍的職號(hào)征調(diào)王玄謨。他的兒子侄兒都勸他稱自己有病，王玄謨說：“我蒙受先帝的大恩，怎么能怕災(zāi)難。”于是即日起程。到后多次上書進(jìn)諫勸說。又當(dāng)面流淚請(qǐng)求緩和刑罰不要屠殺，來安定天下人民，前廢帝大怒。

　　明帝即位，對(duì)他待遇很好，當(dāng)時(shí)四方反叛，朝廷讓王玄謨做大元帥率領(lǐng)水軍向南討伐，因?yàn)槟_有病，允許他乘車出入。不久被調(diào)為車騎將軍，江州刺史，在赭圻做建安王的副將。并賜給他諸葛亮的緊袖鎧甲。不久，做左光祿大夫、開府儀同三司，兼護(hù)軍將軍。再任南豫州刺史。