楊義臣，代人，原姓尉遲。其父尉遲崇，出仕周朝，為儀同大將軍，率兵鎮(zhèn)守恒山。當(dāng)時，隋文帝任定州總管，尉遲崇見文帝相貌非同常人，經(jīng)常主動與之結(jié)交，文帝同他非常友好。文帝任丞相時，尉遲迥起兵叛亂，尉遲崇因與尉遲迥有宗族關(guān)系，就自我囚禁，派遣使者赴朝請罪。文帝致書安慰尉遲崇，講明利害，令尉遲崇立即馳赴京師，經(jīng)常把他帶在身邊。隋文帝開皇初年，封尉遲崇為秦興公。過了一年多，尉遲崇跟隨達(dá)奚長儒赴周..打擊突厥軍，奮力殺敵，戰(zhàn)死于軍中。追贈為將軍、豫州刺史，由楊義臣繼承其父尉遲崇的官爵。

　　當(dāng)時，楊義臣尚年幼，寄養(yǎng)在家中，未到弱冠的年齡，就奉詔象千牛衛(wèi)一樣，宿衛(wèi)宮中數(shù)年，賞賜非常豐厚。文帝曾經(jīng)言及恩人故舊，看著楊義臣嗟嘆很久，于是下詔賜義臣姓楊，編入皇親名籍，成為文帝的從孫。時間不久，拜任陜州刺史。義臣性情謹(jǐn)慎忠厚，擅長騎馬射箭，有將領(lǐng)之才。后來，突厥頭領(lǐng)達(dá)可汗率兵侵犯邊塞，楊義臣以行軍總管的身份領(lǐng)兵出白道，大破突厥軍。第二年，突厥人又侵犯邊境，楊義臣領(lǐng)兵追擊，追至大斤山，與突厥軍相遇。這時，太平公史萬歲也領(lǐng)兵追至，史、楊合兵，大敗突厥軍。史萬歲受到楊素的陷害，楊義臣的功勞竟然也不予記錄。

　　煬帝即位，漢王楊諒造反。當(dāng)時，代州總管李景被楊諒的部將喬鐘葵圍困，楊義臣當(dāng)時任朔州總管，奉詔往救李景。鐘葵見楊義臣的兵少，就率領(lǐng)所部軍兵一起迎擊。鐘葵手下的亞將王拔驍勇善戰(zhàn)，善用丈八長槊，箭射卻射不中他，經(jīng)常帶著幾個騎兵沖鋒陷陣。楊義臣把他視為大患，招募能夠敵擋王拔的人。車騎將軍楊思恩請命阻擋王拔。楊義臣見楊思恩氣貌雄偉，看了他一眼說：“是個壯士！”賜給他酒喝。楊思恩望見王拔站立陣后，扔酒杯于地，縱馬而去。戰(zhàn)了兩個回合，楊思恩沒能取勝，跟隨他去的騎兵退了回來，楊思恩被王拔殺死于陣上。王拔乘勝追擊，楊義臣的軍隊敗逃十多里。楊義臣用重金贖回楊思恩的尸首，哭得十分悲痛，三軍將士沒有不痛哭流涕的，跟隨楊思恩上陣的騎士都被腰斬。楊義臣以為自己的兵力不足，就把軍中的牛驢驅(qū)趕到山谷間，以收出其不意的效果。楊義臣在午后申時再次與鐘葵交戰(zhàn)，雙方軍隊剛剛交鋒，楊義臣命令驅(qū)使牛驢的士卒迅速前進。一時間戰(zhàn)鼓齊鳴，塵煙蔽日，鐘葵的軍隊不知道發(fā)生了什么事情，認(rèn)為是伏兵天降，于是就紛紛潰逃，楊義臣驅(qū)兵追擊，大破鐘葵兵。楊義臣因功晉位上大將軍，逐步升任至太仆卿。

　　隨大軍征討吐谷渾，受命駐軍琵琶峽，南北連營八十里，南與元壽的軍隊相接，北連段文振的軍隊，一起在覆袁川圍攻吐谷渾首領(lǐng)。又隨大軍征伐遼東，率軍直指肅慎道。到鴨綠水，與乙支文德交戰(zhàn)，每次都是充當(dāng)先鋒，一天打了七個勝仗。后來因各路軍馬都戰(zhàn)敗，竟然連坐免官。很快又官復(fù)原職。第二年，以副將的身份，與大將軍宇文述一起攻取平壤。行至鴨綠水，適逢楊玄感作亂，進犯扶風(fēng)、安定，楊義臣奉詔率兵平定叛亂。不久，又跟隨文帝再次征討遼東，晉升為左光祿大夫。

　　這時，渤海高士達(dá)、清河張金稱聚集在一次，為害地方，攻陷郡縣。煬帝派遣將軍段達(dá)征討，未能平定，詔令楊義臣率遼東兵回師，攻擊叛賊，大敗高士達(dá)軍，將張金稱斬首。又收伏降兵，進入豆子..，討伐亂賊格謙，生俘格謙，呈書奏知煬帝。煬帝害怕楊義臣的威名，急令楊義臣回朝，盜賊因此又興盛起來。楊義臣因軍功晉位為光祿大夫，不久又升任禮部尚書。死于官任。