伯茂少年時，就頗有威望和影響。博覽群書，文章華麗，因被封為奉朝請，得以脫去布衣到朝廷做官。后來被封為中軍大將軍。

　　伯茂喜好飲酒，形跡頗為疏散狂傲，因而，長久不能升遷，心情郁悶。天平二年(535)，他參加朝廷的宴會，侮辱了殿中尚書、章武王元景哲。景哲便向朝廷控告他丟掉官員的身份，與太監(jiān)在一起；用梨敲打桌案，弄臟了別人的官服；在皇宮禁庭，脫下衣服讓別人拿著。朝廷下詔將他交給有司處理，后來竟然沒有問罪。

　　伯茂晚年，狂飲無度，以至于傷身亂性，常因此引起過失。死前數(shù)日，忽然說：我得到密信，朝廷要逮捕我。便與他的妻子乘車西逃。后來因?yàn)樗钢鴫Ρ?，說有官府的人來追趕，妻子才知道他精神有了毛病。死后，埋葬在家中的園子里。友人常景、李渾、王元景、盧元明、魏季景、李騫等十多人在他的墓旁擺酒祭奠，一個個痛哭流涕，邊飲邊將酒澆在地上，說：“裴中書魂魄有靈，知道我們來看你了嗎？”每人各賦詩一首。李騫因魏收也與伯茂交誼深厚，將詩稿寄給了他。魏收當(dāng)時在晉陽，也同他們一樣寫詩評論伯茂，其中十個字是：“臨風(fēng)想玄度，對酒思公榮。”時人認(rèn)為伯茂性情傲慢，魏收的詩頗能將他概括。