虞荔字山披，會稽余姚人。其祖父虞權(quán)，任梁朝廷尉卿，永嘉郡太守。父親虞檢，任平北始興王諮議參軍。

　　虞荔年少時聰慧敏捷，有志操。九歲時，跟隨伯父虞闡拜訪太常陸亻垂，陸亻垂詢問他與五經(jīng)有關(guān)的十件事，他對答如流，沒有遺漏，陸亻垂覺得他不同尋常。后曾到隱士何胤處，恰逢太守衡陽王也在那兒，何胤把虞荔介紹給衡陽王，衡陽王想會見虞荔，他卻推辭說：“沒有官爵，無顏拜見。”于是衡陽王認(rèn)為他志操高尚，很欽重他，回郡后，召任虞荔為主簿，他又以年紀(jì)輕為由推辭。長大后，他風(fēng)儀俊美，博覽群書，擅長寫文章。初任梁西中郎行參軍，不久又代任法曹外兵參軍，兼丹陽詔獄正。那時梁武帝在城西建士林館，虞荔于是撰寫碑文，上奏武帝，武帝詔令把碑文刻在館內(nèi)，又任虞荔為士林學(xué)士。不久虞荔任司文郎，又調(diào)任通直散騎侍郎，兼中書舍人。當(dāng)時他身邊的人，大多參與爭奪卿相職位，朝廷內(nèi)外的軍政大權(quán)，時有控制，只有虞荔和顧協(xié)淡然處之，住在西省，以通曉文史而知名，當(dāng)時人稱贊他們清廉。不久虞荔任大著作。

　　侯景之亂時，虞荔帶著家人住進(jìn)臺城，任鎮(zhèn)西諮議參軍，舍人職務(wù)不變。臺城陷落后，他逃回鄉(xiāng)里，侯景之亂平定后，元帝征召虞荔任中書侍郎，貞陽侯任命他為揚(yáng)陳書州別駕，他都未就職。

　　張彪據(jù)守會稽，虞荔當(dāng)時正在那里。文帝平定張彪之亂后，高祖給虞荔寫信說：“喪亂以來，賢臣哲士凋散，你才能出眾，聞名許、洛，現(xiàn)今朝廷百事待興，廣求英才，你豈能棲居?xùn)|南隅，只顧保全自身呢？現(xiàn)令你攜家來京，希望你幫助朝廷渡過虛滯階段。”接著文帝又寫信給他說：“你在東南一帶有美名，聲譽(yù)很大，本應(yīng)來到京許，共同匡正時弊，而你卻隱跡故里，獨(dú)善其身，難道這稱得上宏遠(yuǎn)之志嗎？愿你整點(diǎn)行裝，且來京都。開誠相見，就在現(xiàn)在?！庇堇笃炔坏靡?，便應(yīng)命赴京。高祖崩，文帝繼位，任虞荔為太子中庶子，侍奉太子讀書。不久任大著作，東揚(yáng)州、揚(yáng)州二州大中正，太子中庶子職務(wù)不變。

　　當(dāng)初，虞荔母親隨他住進(jìn)臺城，死于城內(nèi)，不久臺城陷落，沒法行禮儀節(jié)，從此，虞荔粗食布衣，不聽音樂，雖然官職高待遇好，而他居所簡陋，毫無營造之意。文帝很器重他，常常帶在身邊，以便隨時咨詢。虞荔品性沉靜細(xì)密，少言語，他的諍言勸諫之語，他人沒有機(jī)會得知，所以無法記載下來。

　　那時虞荔的二弟虞寄暫居閩中，投靠陳寶應(yīng)，虞荔每每談到他就流淚。文帝同情他并對他說：“我也有弟在遠(yuǎn)方，思念之情甚切，他人豈能了解?！蔽牡郾阆略t向陳寶應(yīng)索求虞寄，但陳寶應(yīng)始終不放虞寄。虞荔因此生病，文帝多次探視。文帝詔令虞荔讓家人入禁城探病，而他以禁城非私人住所，乞求住到城外，文帝不答應(yīng)，便讓他住在蘭臺，皇上多次探視，且持詔書前往探視的人絡(luò)繹不絕。文帝又以虞荔食素太久，瘦弱不堪，下詔說：“你能獨(dú)鐘布衣素食，實(shí)為高尚，只是你年歲已高，精力減退，朕正想倚重委任于你，非常希望你身體健壯，現(xiàn)給你魚肉，你不要固執(zhí)己見?！庇堇筮€是不從命。天嘉二年(561)去世，時年五十九歲。文帝很是傷感，追任他為侍中，謚號德子。當(dāng)虞荔的靈柩將送回故里時，文帝親往臨送，時人以為榮顯。其子虞世基、虞世南，都是年少即有名氣。