從此以后，明朝的邊患日益嚴重。嘉靖初年，韃靼部首領俺答汗占領河套，坐鎮(zhèn)一方，聚集力量，發(fā)兵南侵，人稱“套賊”。從嘉靖二十一年（1542年）到二十二年（1543年），連連侵犯大同、太原、平陽等38個州縣，殺戮百姓多達20余萬人，擄掠牛、馬、羊、豬200萬頭，明朝軍隊反擊不力，從此年年為患。首輔夏言任用曾銑總督陜西軍務，奮起反抗，并取得初步的勝利。河套自被俺答占領后成為南侵的重要據(jù)點，曾銑主張收復河套，并得到夏言的積極支持，但由于內(nèi)閣意見不一，遲遲不能行動，結果在這期間俺答騷擾不斷，一度到達居庸關，京師告危。嚴嵩以此為由，誣陷夏言、曾銑輕舉妄動收復河套，招致俺答的報復，并將他們處死，造成千古奇冤。嘉靖二十九年（1550年），俺答又到順義、通州掠奪，再逼京師，總兵仇鸞竟斬殺老百姓的首級以冒功請賞。如此黑白顛倒，忠奸不分，更助長了俺答的氣焰，防務的虛弱已成為明王朝的心腹之患。張居正為此痛心疾首地指出：“聲容盛而武備衰，議論多而成功少，宋之所以不競也。不圖今日復見此事?！睆娬{(diào)文臣牽制武將的明朝制度與宋朝如出一轍，帶來的結果也使得大明王朝可能會重蹈南宋的亡國之禍。此時，高瞻遠矚的張居正已經(jīng)看到，出自內(nèi)閣的對立和矛盾，已成為政治敗壞、邊防衰弱的主要原因。為此，他堅決遠離內(nèi)閣中的權力之爭，專心于處理邊防事務。

然而，嚴重的邊患，已不容他坐觀國勢的衰頹。土木堡事件以來，軍事積弊愈加深重，要想“一起而振之”，必須從源頭上加以改變。明代從成祖以來實行以文官統(tǒng)率武官的政策，主管軍事的統(tǒng)帥都是進士出身，邊防將領對部下沒有獨立的指揮權和調(diào)配權。指揮和實戰(zhàn)的脫節(jié)，嚴重地壓抑了將領的積極性。隆慶初年，譚綸出任薊遼總督，他本是臺州知府，長期在東南沿海任職，有豐富的反擊倭寇的經(jīng)驗。像他這樣通曉戰(zhàn)爭的文官，在明代官僚體制中，是非常少見的。如今，他以文官的身份為武將請命，要求練兵和作戰(zhàn)擺脫地方官的牽制，減少地方官干涉軍務的權力，這是對一百五十多年來以文制武傳統(tǒng)的挑戰(zhàn)。地方巡撫劉應節(jié)、巡關御史孫代等都激烈反對，但都不是張居正的對手。在首輔徐階的支持下，張居正為譚綸爭得獨立的指揮權，開創(chuàng)了有明一代提高地方將領權力和社會地位的先例。

為了加強邊防的實力，張居正又調(diào)用譚綸的老搭檔抗倭名將戚繼光總理薊州、昌平、保定三鎮(zhèn)的練兵事務，各路總兵統(tǒng)由其統(tǒng)轄，這在軍隊是一個創(chuàng)舉。戚繼光被任命為總理，這就在三鎮(zhèn)總兵以外，又增設一職，與原有體制不合，加上戚繼光是南方軍人，以水戰(zhàn)見長，一般輿論認為水軍不習陸戰(zhàn)，紛紛加以抵制，這一職務被總兵們認為是“綴疣”。但種種議論都不能動搖張居正調(diào)用戚繼光的決心。在他看來，這是“弊在人心不一，論議煩多，將令不行，士氣難作”，斷然以特旨的名義任命戚繼光為薊州鎮(zhèn)總理練兵事務兼鎮(zhèn)守，這既保留了戚繼光總理練兵事務的頭銜和節(jié)制三鎮(zhèn)總兵的大權，又讓他擁有了直接管轄薊州軍務的權力。張居正還把工作做到細處。為了平息輿論，他請出素有威望的凌云翼說服眾將領。正是因為張居正的決心和斡旋，才使得戚繼光在北方再展雄風。張居正力排眾議，打破常規(guī)地任用譚綸與戚繼光，從此改變了明王朝以文制武的傳統(tǒng)軍制。

為了激勵將領兵士的積極性，張居正大刀闊斧地改變賞不當功，罪不當罰的積弊，重獎有軍功的將士。宣府總兵馬芳在隆慶元年（1567年），轉(zhuǎn)戰(zhàn)宣大、威寧、黑山，戰(zhàn)功卓著，獲得蔭子千戶及銀幣的賞賜；陜西延綏總兵趙苛曾經(jīng)防御失利，后戴罪立功，在塞外大戰(zhàn)中殺敵三百余人，奪馬一百多匹，官升至大同總兵，蔭子正千戶。這超常的獎勵，遭到文官的抵制，連兵部都不敢做主。張居正憤怒地指出，不給予重賞，誰肯冒死犯難？他執(zhí)意破格獎賞。

重賞重罰是張居正軍事思想的重要組成部分，他主張有功于國家的，即使千金重賞、通侯之印，概不吝予；無功于國家的，一個笑臉、一條破褲子也不輕予。一代名將李成梁是行伍出身，按明制不能擔任鎮(zhèn)守一方的大將，是張居正論功行賞，破格提拔，使他成為鎮(zhèn)守遼東的主將。在這種思想的主導下，隆慶年間，獎勵有功將士的記載史不絕書，大大激勵了有為之士，效命疆場，創(chuàng)建軍功。

通過一系列務實的任命，張居正在形式上依然尊崇大明王朝舊制，但本質(zhì)上已經(jīng)改變了過去錯綜復雜的兵權牽制的制度。他把練兵、用兵的大權通過設立新官職的方式，重新統(tǒng)一到一個將領手中，加強了機動性，有效地抵御了蒙古余部的侵擾。