潘樂，字相貴，廣寧石門人。他家本來是廣宗的大姓，北魏時(shí)被分配鎮(zhèn)守北部邊境，因而在那里定居。父親潘永，有技藝才能，繼承了廣宗男的爵位。

　　他剛出生時(shí)，一只鳥兒落在他母親的左肩上。占卜者都說這是富貴的象征，因而取名相貴，后來名才變?yōu)樽?。長(zhǎng)大后，為人寬厚，很有膽略。最初歸附葛榮，葛榮命他為京兆王。當(dāng)時(shí)，他才十九歲。葛榮失敗，他又跟隨..朱榮。被任命為別將，去討伐元顥，因立功被封為敷城縣男。

　　齊神武帝高歡任晉州刺史，命潘樂為鎮(zhèn)城將軍。后來，他跟著高歡在廣阿打敗..朱兆，被晉爵為廣宗縣伯。積累軍功，被任命為東雍州刺史。神武帝曾議論想廢去州一級(jí)的建制，潘樂認(rèn)為東雍州有大河高山的險(xiǎn)峻形勢(shì)，四境連接胡地和蜀地，是一個(gè)位置重要的地方，不可廢棄掉。所以，東雍州被保留下來。后來，他又跟著神武帝在河陰打敗北周的軍隊(duì)，并討論是否追擊。神武帝命同意追擊的人站到西邊，不同意的站在東邊，只有潘樂和劉豐站到了西邊，神武帝對(duì)他很欣賞。因?yàn)槎鄶?shù)將領(lǐng)不同意，才停止追擊，改封他為金門郡公。

　　文宣帝高洋管理朝政，潘樂鎮(zhèn)守河陽，打敗北周的將領(lǐng)楊瞯等人。當(dāng)時(shí)，文宣帝認(rèn)為懷州刺史平鑒等人修筑的城池深入敵人境內(nèi)，想放棄掉，潘樂認(rèn)為軹關(guān)地處要塞，必須牢固防守，便進(jìn)一步修理，增加兵將，而后才回來。仍鎮(zhèn)守河陽，被封為司空。北齊受東魏禪讓，潘樂晉封為爾綬，被任命為河?xùn)|郡王，遷任為司徒。

　　周文帝宇文泰率軍東至崤、陜一帶，派他的行臺(tái)侯莫陳崇自齊子嶺進(jìn)逼軹關(guān)。儀同楊瞯從鼓鐘道出建州，攻陷孤公戍。北齊朝廷命潘樂率大軍抵御周軍。潘樂率軍日夜兼程，到達(dá)長(zhǎng)子，派儀同韓永興從建州西部迎擊侯莫陳崇，周軍失敗逃跑。

　　潘樂又充任南道大都督討伐侯景。他從石鱉出發(fā)，南行一百多里，到達(dá)南梁的涇州。涇州過去在石梁，侯景改稱為淮州。潘樂占領(lǐng)這片地方，仍建立涇州。他又領(lǐng)軍攻克安州一帶的土地。被任命為瀛州刺史，仍攻略在淮河、漢水之間。天保六年(555)，死在懸瓠，朝廷追贈(zèng)他為假黃鉞、太師、大司馬、尚書令。