劉粹字道沖，沛郡蕭縣人。他的祖父劉恢，官至持節(jié)、監(jiān)河中軍事、征虜將軍。劉粹家住京口。他少有大志，能力出眾，開始當本州從事，高祖攻克京城后，他當參建武將軍。隨同劉裕平定京都，他轉(zhuǎn)任參鎮(zhèn)軍事，不久加任建武將軍、沛郡太守，又兼任下邳太守。后又當車騎中軍參軍。隨同劉裕征討廣固，戰(zhàn)功非常多。又因為起義的功勞，被封為西安縣五等侯。大軍回京，他轉(zhuǎn)任中軍諮議參軍。盧循進逼京城，京口的鎮(zhèn)守責任重大，太祖當年只四歲，高祖叫劉粹輔助太祖鎮(zhèn)守京口。不久轉(zhuǎn)任游擊將軍。

　　他遷任建武將軍、江夏相。衛(wèi)將軍劉毅，是劉粹的族兄，劉粹盡忠于劉裕，不和劉毅相結(jié)好。高祖想除掉劉毅，眾人都懷疑劉粹在夏口，高祖更加信任他。到大軍西進時，劉粹非常賣力，劉毅被消滅后，他被封為灄陽縣男，食邑五百戶。母親去世，他辭了官。不久高祖討伐司馬休之，起用劉粹為寧朔將軍、竟陵太守，帶水軍進入黃河。第二年，他被任為輔國將軍，又遷任相國右司馬、侍中、中軍司馬、冠軍將軍，遷任左衛(wèi)將軍。永初元年(420)，他因為是開國元勛，改封為建安縣侯，食邑一千戶。二年(421)，因為役使監(jiān)吏，被免除官職，不久又被用為督江北淮南郡事、征虜將軍、廣陵太守。三年(422)，在本職的基礎(chǔ)上兼管豫、司、雍、并四州和南豫州的梁郡、弋陽、馬頭三郡諸軍事、豫州刺史，兼任梁郡太守，鎮(zhèn)守壽陽，頗有政績。少帝景平二年(424)，譙郡流民六十多家叛逃魏境。趙炅、秦剛等六家后悔了，再南投陳留襄邑縣，呆在謀等村。劉粹派部將苑縱夫討伐叛逃民戶，沒有趕上，于是苑縱夫便殺了謀等村三十家的人丁，男子一百三十七人，女人小孩一百六十二人，苑縱夫被抓到勞改營。劉粹因此事被貶為寧朔將軍。當時魏兵南侵，劉粹派將軍李元德襲擊許昌，殺了魏國潁川太守庾龍，這時陳留人董邈自稱小黃盟主，殺了魏國的征虜將軍、廣州刺史司馬世賢，把司馬世賢的腦袋送到京城示眾。

　　太祖繼位，劉粹遷任使持節(jié)，督察雍、梁、南北秦四州和荊州的南陽、竟陵、順陽、襄陽、新野、隨六郡諸軍事、征虜將軍，兼任寧蠻校尉、雍州刺史，襄陽、新野二郡太守。在任職期間他很少征用民力，愛護百姓，罷除和尚尼姑二千多人，用來補任府中勞力。元嘉三年(426)，文帝討伐謝晦，派劉粹的弟弟車騎從事中郎劉道濟、龍驤將軍沈敝之接受劉粹指揮，從旱路進攻江陵。劉粹用劉道濟當竟陵內(nèi)史，讓他和沈敝之以及南陽太守沈道興率騎兵和步兵到沙橋，被謝晦的司馬周超打敗，將士們死傷超過一半，于是劉粹被降為寧朔將軍。當初謝晦和劉粹關(guān)系很好，用劉粹的兒子劉曠之當參軍，劉粹接受命令南伐，毫不猶豫，太祖因這一點很贊賞他。謝晦也把劉曠之送回去而沒有害他。第二年，劉粹去世，享年五十三歲。被追認為安北將軍、持節(jié)，本官照舊。

　　劉曠之繼承劉粹，官到晉熙太守。劉曠之去世，他兒子劉琛繼承。劉琛死，沒有兒子，封爵被取消。劉琛的弟弟劉亮，順帝升明末年(479)，當尚書駕部郎。劉粹的非正嫡的長子劉懷之，當臨川內(nèi)史，和臧質(zhì)一同造反被殺。