劉懷肅，彭城人，是高祖劉裕的姨表兄。他家世世代代都很貧窮，但他親自耕種田地，非常好學。

　　懷肅剛開始當劉敬宣的寧朔府司馬，劉敬宣東征孫恩，懷肅有戰(zhàn)功，便再當龍驤司馬，費縣縣令。聽說高祖起義，劉懷肅丟下縣中事務投奔劉裕。京城平定后，振武將軍劉道規(guī)追擊桓玄，又以劉懷肅當司馬，桓玄留下何澹之、郭銓等戍守桑落州，劉懷肅前進攻擊并打敗了他們。潁川太守劉統(tǒng)被平定后，劉懷肅被用為高平太守?；感篮?，他侄兒桓振在揚林大敗起義軍，起義軍退守尋陽。劉懷肅和江夏相張暢之進攻在西塞山的何澹之，打敗了何。偽鎮(zhèn)東將軍馮該戍守夏口的東岸，孟山圖據(jù)守魯山城，桓仙客防守偃月壘，都聯(lián)營相守，劉懷肅和劉道規(guī)攻他們，親自披堅執(zhí)銳，攻陷其中兩城，馮該逃到石城，活捉桓仙客。義熙元年(405)正月，桓振敗逃，劉道規(guī)派劉懷肅平定石城，殺了馮該和他的兒子馮山靖。三月，桓振再次襲擊江陵，荊州刺史司馬休之出逃，劉懷肅從云杜連忙奔馳援救，日夜兼程，七天便到了?；刚癫急f，旌旗蓋野，躍馬橫刀，親自沖擊劉懷肅的戰(zhàn)陣。飛箭傷了劉懷肅的額角，眾人很害怕，想逃跑。劉懷肅睜大眼睛，更加奮勇沖擊，他的部下也隨之奮擊，于是士卒們紛紛爭先，在戰(zhàn)斗中將桓振斬首。江陵平定，司馬休之再回來鎮(zhèn)守，他握著劉懷肅的手說：“不是你的幫助我便無處可歸了?！眰屋o國將軍符嗣、馬孫、偽龍驤將軍金符青、樂志等屯據(jù)江夏，劉懷肅又討伐他們，殺掉了樂志等。劉道規(guī)任命劉懷肅督江夏九郡，暫時鎮(zhèn)守夏口。

　　劉懷肅被任命通直郎，同時當輔國將軍、淮南歷陽二郡太守。二年(406)又兼任劉毅撫軍司馬，將軍、郡守還照舊。因為起義功勞，被封為東興縣侯，食邑一千戶。那年冬天，桓右綏、司馬國..、陳襲在胡桃山聚兵侵略，懷肅率步兵和騎兵打敗敵人。江淮間的蠻人和桓氏余黨造亂子，劉懷肅親自請求出外討擊，走后違背了劉毅的意思，劉毅上表免去懷肅的官職。三年(407)去世，當年四十一歲。死后被追認為左將軍。劉懷肅沒有兒子，他弟弟劉懷慎讓自己的兒子劉蔚祖繼承了劉懷肅的爵位，劉蔚祖官至江夏內史。

　　蔚祖去世，他兒子劉道存繼承他。太祖元嘉末年，當太尉江夏王劉義恭的諮議參軍。世祖討伐元兇劉邵，起義軍到新亭，劉道存出奔，元兇劉邵殺了劉道存的母親示眾。前廢帝景和末年，他當義恭的太宰從事中郎，義恭被殺，劉道存作為其黨羽也被殺。