但是衡山王劉賜糟糕的家庭關(guān)系，在很大程度上毀掉了他的所謂事業(yè)。

劉賜的第一任王后叫做乘舒，育有太子劉爽、女兒劉無采、少子劉孝。姬妾徐來為他生育四個(gè)子女，美人厥姬生下兩個(gè)兒子。乘舒死后，劉賜立徐來為王后，又極寵愛厥姬，這就不可避免地造成兩個(gè)女人爭(zhēng)風(fēng)吃醋。

厥姬在太子劉爽面前詆毀徐來，你的母親乘舒是因?yàn)樾靵碇甘规九{咒而死。信以為真的太子劉爽從此懷恨在心，在一次與徐來兄長飲酒的過程中刺傷了對(duì)方。此事引起了徐來的不滿，徐來不斷在劉賜面前詆毀劉爽。

劉無采出嫁不久就被丈夫拋棄，回到衡山家中后與家奴通奸。兄長劉爽指責(zé)妹妹劉無采，劉無采從此不再與哥哥來往。王后徐來顯然深知敵人的敵人就是自己的朋友這一道理，便主動(dòng)接近劉無采，同時(shí)給予年幼失母的劉孝以虛假的母愛，徹底俘獲了姐弟兩人與她一起詆毀劉爽。

并無知人之明的劉賜深信王后和女兒、少子之言，幾次將太子劉爽捆綁鞭笞。元朔四年（前125）年中，有人打傷了徐來的繼母，懷疑此事乃是太子劉爽所為的劉賜再次鞭笞劉爽。事后劉賜臥病在床，太子劉爽以自己生病為由沒有盡服侍父王的義務(wù)。劉無采和劉孝姐弟乘機(jī)向劉賜詆毀劉爽，說太子根本沒有生病，而且對(duì)父王臥病不起幸災(zāi)樂禍。于是，衡山王萌發(fā)了廢掉劉爽改立劉孝為太子的念頭。

王后徐來的真實(shí)意圖是立自己的兒子為太子，她設(shè)計(jì)安排劉孝與自己身邊的一個(gè)舞伎通奸，而這名舞伎又曾被衡山王所寵幸，徐來的計(jì)劃是一并毀掉劉孝，則其子便可順理成章地立為太子。

已經(jīng)岌岌可危的太子劉爽獲知了徐來的計(jì)劃，這個(gè)高帝的曾孫已經(jīng)被王后的心計(jì)折騰得疲憊不堪，再也無力與之對(duì)抗。費(fèi)盡心思之后，劉爽想出了一個(gè)自以為高明卻齷齪不堪的解決辦法，他希望可以和繼母通奸，以男女之情換取其放棄敵對(duì)的姿勢(shì)。

在一次徐來宴請(qǐng)?zhí)拥木葡虚g，劉爽為徐來祝酒，之后抱著繼母的大腿懇求“同臥”。惱羞成怒的王后徐來報(bào)告衡山王太子無禮。劉賜氣憤至極，下令召逆子劉爽，好給他一頓足夠的教訓(xùn)。太子劉爽此時(shí)已經(jīng)知道，父王計(jì)劃廢掉自己改立弟弟劉孝，就向劉賜告發(fā)劉孝與舞伎通奸、劉無采和家奴通奸，并在揚(yáng)言要向朝廷上書之后偷偷出發(fā)。大驚失色的劉賜趕緊派人追趕，卻沒有人可以將太子攔住，劉賜只好親自帶人抓住劉爽，用狂野亂語的罪名把他囚禁于王宮。

顯然，劉賜并沒有發(fā)現(xiàn)劉孝勾引舞伎的行為，也不相信劉爽的告發(fā)。衡山王欣賞最為寵愛的少子劉孝的才能，特意為他佩戴上衡山王印綬，稱之為將軍。又在王宮之外為劉孝建起豪華府邸，撥給巨額經(jīng)費(fèi)，由劉孝招徠四方賓客。獲知淮南、衡山謀反情由的亡命之徒從四面八方趕來衡山投靠，慫恿劉孝起兵奪取天下。劉賜又指使劉孝的門客枚赫、陳喜等人制作車以鍛造箭矢，刻制天子玉璽，將、相、軍吏印章，召集周丘等亡命之徒，經(jīng)常討論研究吳、楚七國叛亂時(shí)候的軍事得失。

元朔五年（前124）秋，劉賜入朝天子。元朔六年（前123），劉賜返國途中路經(jīng)淮南，與兄長淮南王劉安盡釋前嫌，約定共同起兵。劉賜回到衡山國后立刻上書，請(qǐng)廢太子劉爽、改立劉孝。被徹底激怒了的劉爽尚被監(jiān)禁于衡山王宮，便派遣白嬴到京師上書告發(fā)。

查清真相之后的張湯立即上奏武帝，請(qǐng)求逮捕衡山王劉賜。武帝沒有同意，派遣中尉司馬安、大行李息赴衡山當(dāng)面訊問劉賜。毫無抵抗意志的劉賜對(duì)謀反一事供認(rèn)不諱。中尉和大行布置官吏包圍王宮看管劉賜后回京復(fù)命，公卿列侯奏請(qǐng)武帝派遣宗正、大行會(huì)同沛郡再做進(jìn)一步的審理，劉賜聽到消息后自殺。

衡山王后徐來同案被查實(shí)確曾巫蠱前王后乘舒而被棄市，太子劉爽因?yàn)楦姘l(fā)父親，犯不孝之罪也被棄市。其他參與謀反的人員一概誅殺，衡山國國除為郡。

對(duì)劉孝的處理，顯出了廷尉張湯嚴(yán)格執(zhí)法的帝國酷吏水準(zhǔn)，雖然劉孝自首在前不問其造反罪名，但劉孝因與父王侍妾通奸獲罪同樣被棄市。