東南沿海的倭患雖然平息了，但北邊仍然存在韃靼的威脅，為了加強北邊的防務，朝廷決定調戚繼光訓練邊兵。明隆慶元年（1567年）十二月，戚繼光奉命北上，途中遊覽了福建武夷山，並刻字於水光石：「大丈夫既南靖島夷，便當北平胡虜。黃冠布袍，再期遊此。」全文氣勢豪邁，表達了捍衞邊疆的雄心壯志。戚繼光到京師不久，便向朝廷上《請兵破虜四事疏》，提出四點建議：一、訓練一支十萬人的大軍，與韃靼打幾場大仗，使韃靼不敢輕易犯邊，然後分此十萬之兵訓練九邊及京師之兵。二、採用以往募義烏兵的辦法，由地方官招募當地農民，分散在地方訓練，再調到近京地方集中訓練，然後分派到九邊去。同時建議調浙兵一萬作為骨幹。三、軍隊所需的糧餉，從練兵省份應上繳的錢糧中撥發。所需的器械，命令各省分別製造，然後送到軍營。四、希望朝廷授權地方官負責募兵、練兵，如果沒有很大的過錯，別人不得隨便指責或阻撓。但一些官員議論不休，紛進讒言，戚繼光結果被任命為禁軍神機營副將。

明隆慶二年（1568年）夏天，由於新任薊遼保定總督譚綸的推薦，戚繼光被任命為總理薊州、昌平、遼東、保定之軍務。當時坐鎮薊州的是總兵郭琥，戚繼光來到後，權力不統一，諸將多不聽命令。不久郭琥被調走，由戚繼光單獨負責薊州防務，鎮守薊州、永平、山海等處。戚繼光將全部防區劃分為十二路，上面設東、西協守，分管東西各路軍隊。他雖然全權負責薊州一線的防務，但練兵主張卻得不到朝廷的積極支持，於是將精力主要用在防禦工事上。嘉靖年間，明朝廷曾對長城作整修，但是經常毀壞，而且沒有修築敵台。戚繼光主張加高加厚舊城牆，並提出修築敵台的具體辦法：每隔數十步至二百步修建一座，每座高三四丈，周圍十二丈到十七八丈。用巨石或磚建造台基，分為三層，中間虛空，四面有箭窗，上層有垛口。台上駐兵三五十人，貯備器械、糧食，台下也駐屯軍隊，和台上士兵配合作戰。士兵平時在敵台附近屯田，以解決軍食問題。建議得到採納。自明隆慶三年（1569年）至五年（1571年），敵台全部完工，共有一千多座。戚繼光在每座敵台上配置台軍，邊防大為鞏固。

敵台修成後，戚繼光根據北方的地理條件，提出了車、騎、步三軍配合作戰的策略，建立7座車營，分別駐守建昌、遵化、昌平等地。每營有重車156輛，輕車256輛，步兵4,000人，騎兵3,000人，每車配備士兵2人，「佛朗機」炮兩門。這種戰車有8片可以折疊的屏風，平時平放在車轅上，戰時打開豎立在一邊，最邊的兩扇可以活動，供步兵出入。作戰時，騎兵在前面阻擋敵人，戰車在後面排成戰鬥隊形；敵軍逼近時，騎兵退入戰車陣內，車上的士兵施放火器；火器的威力發出後，步兵從車後衝出；敵人攻勢被挫後，騎兵又從車後出擊。在此期間，因北方士兵紀律散漫，荀且偷安，戚繼光請求調浙兵北上，得到朝廷同意。開始只調來浙兵3,000，後增到9,000，最後增至20,000，成為守邊的主力。通過戚繼光的艱苦努力，北邊防務有了很大的改觀。

戚繼光鎮守薊州不久，韃靼首領俺答汗放棄了騷擾政策，與明朝廷達成協議。明朝封俺答汗為順義王，設立互市於大同、宣府等地，俺答汗則嚴禁諸部入邊劫掠。不過，遼東的圖們劄薩克圖汗（或稱土蠻）還經常攻掠邊境，朵顏部的董狐狸也不時和明軍發生衝突。戚繼光積極防禦，多次擊退董狐狸進攻，使其保證不再攻擾邊塞。明萬曆七年（1579年）冬，圖們汗帶領騎兵四萬多人進犯遼東鎮，遼東總兵李成樑堅壁清野，朝廷命戚繼光出兵聲援，圖們汗見明軍準備充分，只得空手退去。

戚繼光從東南抗倭到北鎮薊州，上司胡宗憲、譚綸、劉應節、梁夢龍，以及執政大臣徐階、高拱、張居正等人，對他的工作都比較支持。尤其是張居正，常把那些作對的官員調開，甚至免除職務，所以戚繼光能久鎮北邊，發揮所長。明萬曆十年（1582年），張居正病死，反對派群起攻擊，戚繼光也受到牽連。明萬曆十一年（1583年），戚繼光被調往廣東。明萬曆十三年（1585年），因舊病復發，戚繼光請求引退，得到朝廷批准，回到家鄉登州。明萬曆十五年十二月十二日（1588年1月17日），他突然發病，與世長辭。