山濤字巨源，河內(nèi)懷縣人。父親山曜，是宛句縣令。山濤早年喪親，家中貧困。少年即有器量，獨(dú)立不群。喜好《莊子》、《老子》，常隱居鄉(xiāng)里，掩蓋自己的志向才能。與嵇康、呂安為友，后又遇阮籍，常在一竹林中交游，志趣契合，為莫逆之交。嵇康后來(lái)被治罪，臨死前對(duì)兒子嵇紹說：“有巨源在，你就不會(huì)孤獨(dú)無(wú)靠了。”

　　山濤年四十歲才進(jìn)入仕途，為郡主簿、功曹、上計(jì)掾。被舉為孝廉，州里征召為河南從事。曾與石鑒共宿，夜里起來(lái)用腳踢一下石鑒，對(duì)他說：“現(xiàn)在是什么時(shí)候，你還在睡！知道太傅司馬懿稱病臥床是何用意嗎？”石鑒回答說：“宰相三次不上朝，給他個(gè)尺把長(zhǎng)的詔書讓他回家就是了，你何必操心呢！”山濤說：“咄！石生不要在馬蹄間來(lái)往奔走??！”于是丟掉官吏用的信符走了。不到兩年，果然發(fā)生司馬懿殺死曹爽的事件。山濤遂歸隱不問世事。

　　山濤與司馬懿夫人宣穆張皇后是中表親，因而能見景帝司馬師，景帝說：“當(dāng)今的呂望是想做官吧！”命司隸舉山濤為秀才，授郎中職。轉(zhuǎn)為驃騎將軍王昶從事中郎。很久以后，又拜為趙國(guó)相，遷為尚書吏部郎。文帝司馬昭給山濤寫信說：“足下任職清明，高雅之操超群出世。顧念家中貧乏，今送去錢二十萬(wàn)，谷二百斛。”魏主曾賜景帝春服，景帝轉(zhuǎn)賜給山濤，又因山濤母親年老，賜給藜杖一根。

　　晚年與尚書和荄交友，又與鐘會(huì)、裴秀親近。因鐘、裴二人爭(zhēng)權(quán)奪利，山濤不偏不倚，處于中間，二人都從山濤那里得到好處而對(duì)他無(wú)恨。后遷為大將軍從事中郎，鐘會(huì)在蜀作亂，文帝將西征。當(dāng)時(shí)魏氏諸王公都在鄴，文帝對(duì)山濤說：“西邊的事我親自去處理，后方的事誠(chéng)心委托于您。”以本官行軍司馬職務(wù)，撥給親兵五百人鎮(zhèn)守鄴。

　　魏元帝咸熙初年(264)，封為新沓子。轉(zhuǎn)為相國(guó)左長(zhǎng)史，統(tǒng)領(lǐng)別營(yíng)兵。當(dāng)時(shí)文帝認(rèn)為山濤是鄉(xiāng)閭中素有德望的人，命太子拜見他。文帝將齊王司馬攸過繼給景帝，平時(shí)又看重司馬攸，曾問裴秀道：“大將軍開國(guó)建業(yè)，未成而亡，我只是繼承他的事業(yè)，故欲立司馬攸為太子，以歸功于兄長(zhǎng)，怎樣？”裴秀認(rèn)為不可。又以此事問山濤，山濤回答說：“廢長(zhǎng)子立少子，違背禮制，是不吉祥的。國(guó)家的安危將由此事決定?！庇谑遣哦ㄏ滤抉R炎為太子。太子親自拜謝山濤。晉武帝司馬炎受魏主禪讓即位，任山濤為大鴻臚，護(hù)送陳留王到鄴。泰始初(265)，加奉車都尉，晉爵為新沓伯。

　　羊祜執(zhí)政時(shí)，有人要陷害裴秀，山濤厲言正色保護(hù)裴秀，因此不合一些權(quán)臣之意，出任冀州刺史，加寧遠(yuǎn)將軍。冀州風(fēng)俗鄙薄，無(wú)推賢薦才之風(fēng)。山濤鑒別選拔隱逸之士，查訪賢人，表彰或任命三十多人，都顯名于當(dāng)世。山濤受到百姓士人的仰慕推崇，當(dāng)?shù)仫L(fēng)俗也為之改變。又轉(zhuǎn)為北中郎將，督鄴城守備事。又入京為侍中，遷為尚書。因母老請(qǐng)求辭職，皇帝下詔說：“君雖心在奉養(yǎng)老母，然而職務(wù)有上下公私之分，家中早晚有人侍奉醫(yī)藥，君當(dāng)暫割情愛，以興一心在公之德?！鄙綕龥Q心退出官場(chǎng)，表疏上了幾十次，皇帝很久才答應(yīng)了他的要求，授議郎職銜回府第。武帝因山濤清貧儉約，無(wú)法供養(yǎng)家人，特別供給每日膳食，加賜床帳被褥。禮遇厚重，時(shí)人莫能與比。

　　后任命為太常卿，因疾病沒有就職。遇母喪，回鄉(xiāng)里。山濤年過七十，守喪超過常禮，親自背土堆墳，親手植松柏?；实巯略t說：“我所以行教化于天下，是靠授賢者以官職。當(dāng)今風(fēng)俗衰敗，人心尚于競(jìng)進(jìn)，應(yīng)當(dāng)分明善惡，以退讓之風(fēng)鎮(zhèn)之。山太常雖在居喪，意志不可勉強(qiáng)改變，而當(dāng)今國(guó)家任務(wù)繁多，怎能遂自己心愿呢！現(xiàn)以山濤為吏部尚書?！鄙綕阅竼噬聿橛赊o讓，表章情意懇切，遇元皇后死，勉強(qiáng)扶持還洛陽(yáng)。為詔命所逼迫，勉強(qiáng)就職。前后薦拔的人遍及京師和州郡，都是有用的人才。

　　咸寧初(275)，轉(zhuǎn)為太子少傅，加散騎常侍，授尚書仆射，加侍中，領(lǐng)吏部。因年老有病，堅(jiān)意辭讓，上表陳情。上章表數(shù)十次，很久沒有就職理事，左丞白褒奏山濤違詔。武帝說：“山濤因病自求辭職，只是沒有聽從他的要求罷了。如山濤用人不當(dāng)而坐罪是可以的，何必上下動(dòng)手，顛倒輕重呢？不得再追究此事?！鄙綕齼?nèi)心不安，上表謝罪說：“自古以來(lái)行王道者守正而已。陛下不能因?yàn)橐粋€(gè)老臣而改變國(guó)法，臣有何心向皇上陳辭。請(qǐng)照白褒所上之表處置，以顯示不枉刑法?！蔽涞塾窒率衷t說：“白褒所奏是虛妄的，我所以未追究他的責(zé)任，是我不喜歡動(dòng)輒發(fā)怒，你是明智而有度之人，哪能介意呢！應(yīng)當(dāng)就職理事，不讓他們?cè)偕险卤砭褪橇?。”山濤決心引退，因?yàn)樘玫芟卑l(fā)喪，就回外舍?；实巯略t說：“山仆射近日暫時(shí)出居，因有所操勞而未還，這不是我坐側(cè)席而待賢的意思?，F(xiàn)派遣丞掾奉旨告諭，若身體尚未康復(fù)，便坐輿車抬回府寺?！鄙綕o讓不能獲準(zhǔn)，才就職理事。

　　山濤再次任職十余年，每逢官位有缺，山濤總選幾個(gè)備用的人，看到詔旨傾向于某一人，然后明言上奏，先將皇帝所想用的人提出，所以皇帝所想用的人，有時(shí)沒有先提出來(lái)，眾人不了解詳情，認(rèn)為是山濤憑自己的意愿用人。有人在武帝面前說山濤的不是，故武帝親手寫詔告誡山濤說：“用人的標(biāo)準(zhǔn)是有才，不遺漏疏遠(yuǎn)孤賤而有才的人，教化才能行于天下?！倍綕€是照樣行事。一年以后，眾人的意見才平息。山濤所薦拔上奏的人物，列名成冊(cè)，當(dāng)時(shí)稱《山公啟事》。

　　山濤在朝處于各派中間，晚年值楊皇后親黨專政，不愿用楊氏，多次諷諫皇帝，皇帝雖領(lǐng)悟其意而不能改正。后來(lái)因年邁病重，上疏告退說：“臣年近八十，茍延殘喘于旦夕，若對(duì)國(guó)家還有毫末之益，怎能留余力于盛世。迫于衰老，不能再負(fù)重任。當(dāng)今四海無(wú)事，天下思從教化，從民心而行無(wú)為之政，百姓自能正己。只是應(yīng)當(dāng)崇尚風(fēng)教以使民俗歸厚罷了，陛下又有何事可做。臣耳聾目昏，無(wú)力奮進(jìn)。君臣父子之間無(wú)須掩飾，因而直陳愚情，望答應(yīng)我的請(qǐng)求?！庇谑钦旅弊?，赤腳徒步送還印綬。皇帝下詔說：“天下事還多，加之吳國(guó)初平，各項(xiàng)事業(yè)都處于草創(chuàng)階段，應(yīng)當(dāng)共同盡力以化成天下。君不識(shí)往日我留君之深意，而以小疾為由求退，這不是我希望于你的??！朕猶坐于側(cè)席而待賢者，未得垂衣拱手而治天下，君何能引退而求高尚之名呢！應(yīng)當(dāng)倡導(dǎo)至公無(wú)私之心，不要再做那追求虛名的煩瑣之事?！?br />
　　山濤上表苦苦求退，皇帝又下詔不許。尚書令衛(wèi)馞上奏說：“山濤因有小疾，久不履職。頻繁下詔，還不服從詔命。朝中議論以為這樣不能成全他的高尚之節(jié)，也違背在職為公的要求。若山濤病情沉重，也不宜居官位?？擅馊ド綕俾??！被实巯略t給衛(wèi)馞說：“山濤有德操，素為眾望所歸，而深心退讓，十分懇切。故連續(xù)下詔，必求改變他的主張，以匡扶朝廷，彌補(bǔ)缺漏。主事者不明詔書深意，反而加以曲解，這有損于崇賢之風(fēng)，給我加上輕賢無(wú)德之名，怎能給遠(yuǎn)近之人做出表率呢？”山濤不得已又就職理事。

　　太康初(280)，遷為右仆射，加光祿大夫、侍中，掌選如故。山濤因年老身病堅(jiān)決要求辭職，皇帝親手寫詔說：“君之道德為世人楷模，況先帝已識(shí)君高遠(yuǎn)之志。我將依靠你以使風(fēng)俗淳厚，為何要舍棄朝政以求高名呢！我的至誠(chéng)之心還不足以使你明白嗎？為何上表的言論是那樣懇切。應(yīng)當(dāng)及時(shí)自勉，以慰我深切之望。你不改變引退之志，朕將臥不安席?！鄙綕稚媳韴?jiān)意辭讓，皇帝不許。

　　平吳之后，武帝下詔罷除天下兵役，表示海內(nèi)平安無(wú)事，州郡都解散軍隊(duì)，大郡設(shè)置武吏一百人，小郡設(shè)五十人。武帝曾在宣武場(chǎng)講武，山濤當(dāng)時(shí)有疾，皇帝下詔乘坐人拉的輦車跟從。山濤當(dāng)時(shí)與盧欽討論用兵之本，認(rèn)為不應(yīng)該廢除州郡武備，他的論點(diǎn)很精湛。當(dāng)時(shí)人們都以為山濤雖不學(xué)孫、吳兵法，而其論兵暗與兵法合，武帝稱贊說：“真是天下之名言??！”然而卻不能用?；莸塾缹?301～302)之后，多次發(fā)生事變，盜賊蜂起，各郡國(guó)都因無(wú)軍備而不能制止，于是導(dǎo)致天下大亂，果如山濤所言。

　　后拜為司徒，山濤又堅(jiān)意辭讓，皇帝下詔說：“君年邁而德高，是朝中元老，因而授給君臺(tái)輔之位，而君崇謙讓之遠(yuǎn)名，反復(fù)推辭，令我心中憂慮。君當(dāng)堅(jiān)持始終，輔助朕身?！鄙綕稚媳碚f：“臣侍奉天朝三十余年，對(duì)德政教化無(wú)毫厘功效。陛下私心愛臣不已，枉授三司之任。臣聞德薄而位高，力少而任重，則上有敗壞國(guó)事之禍，下有損傷家廟祖宗之咎。愿陛下念累世君臣之恩，乞求骸骨以歸故里?！被实巯略t說：“君輔助朝政，保護(hù)治理皇家，匡扶之功，為朕所依賴。司徒之職，實(shí)掌國(guó)家教化，因而敬授予你，以滿足群臣百姓之望，怎能只顧謙讓而貶低自己呢！”武帝下令不準(zhǔn)山濤再上章表辭職，使者把印綬交給臥病在床的山濤。山濤說：“將死之人，怎能玷污官府呢！”病臥輿車歸家。太康四年(283)死，終年七十九歲?；实巯略t賜棺木朝服各一具、衣一套、錢五十萬(wàn)、布百匹，以供喪事之用，策命追贈(zèng)司徒蠟印紫綬、侍中貂嬋、新榻伯蠟印青朱綬，用太牢祭祀，謚號(hào)為康。將葬時(shí)，又賜錢四十萬(wàn)、布百匹。左長(zhǎng)史范晷等上奏說：“山濤舊宅第僅有屋十間，子孫多，容納不下?！蔽涞蹫樯綕医俗≌?br />
　　當(dāng)初，山濤為布衣，家境貧困，對(duì)妻子韓氏說：“忍住饑寒，我以后當(dāng)?shù)侨?，但不知你能做三公夫人否！”做高官之后，仍正派?jié)儉，雖爵同千乘之君，不畜婢妾，俸祿賞賜，都散給親戚故人。

　　當(dāng)初，陳郡袁毅曾為鬲令，性貪而行污，賄賂公卿而求稱譽(yù)。也送給山濤絲百斤，山濤不愿拒受而異于人，便收下藏于閣樓上。后來(lái)袁毅的事被揭發(fā)，用檻車送京師廷尉受審，凡受賄的人都被檢舉。山濤就取出絲交給辦案的官吏，絲上積滿塵土，封條印章未動(dòng)。

　　山濤飲酒八斗才會(huì)醉，武帝想試他的酒量，準(zhǔn)備了八斗酒讓山濤喝，而暗地又添一些酒，山濤喝八斗就不再喝了。

　　山濤有五個(gè)兒子：山該、山淳、山允、山謨、山簡(jiǎn)。