第二次鴉片戰爭後，洋務派開始購置西洋槍炮，操練西洋陣法。不久，湘軍、淮軍更大量裝備槍炮。李鴻章特別規定，淮軍必須學習西洋槍炮和陣法。「自強之術，必先練兵」這是洋務派最初的口號。從1861年起，洋務派開始購買洋槍洋炮，訓練西洋陣式。1862年，在天津組建「洋槍隊」，聘外國軍事教官主持。淮軍在李鴻章帶領下，「盡棄中國習用之鳥槍，而變為洋槍隊」，成為一支裝備先進的軍隊。1867年後，左宗棠所率領的湘軍也加快使用洋槍、洋炮，更換土槍、土炮。到十九世紀八十年代以後，以洋槍、洋炮武裝起來的淮軍、湘軍，在許多地方逐漸取代清政府的八旗、綠營舊式軍隊，被稱為「防軍」。

在鎮壓完太平天國後，洋務派的軍事建設轉移到建船造艦和海防建設。他們在建立造船廠時，也開始籌建海軍。1874年，日本派兵侵略中國領土台灣，清政府大為震怒。洋務派提出，日本之所以來侵，就是因為學習了西方初建海軍。因此中國也應變改，建設現代海軍。同年11月初，清廷發表上諭，要求百官對建設海軍一事發表意見。一時奏章紛呈，其中最有份量的是李鴻章的《籌議海防摺》。洋洋萬言，分析了中國的險惡國際形勢，指出當前外患不同於歷代邊患，不能以傳統方法反侵略，只有變法，建設海軍和現代海防，才能保全中國。而現代海軍、海防的建設需要大量資金，李鴻章在此奏摺中，提出創辦民用企業的主張。到十九世紀七十年代中期，籌建海軍仍處於分散的嘗試階段，在清政府內部並未引起太大重視。但隨着列強侵略加劇，洋務派也就加速了建設海軍的步伐，並具體提出建設北、東、南三洋水師。到1884年，實際建設的四支水師已初具規模。北洋水師防衞山東、直隸、奉天海域；南洋水師防衞江蘇、浙江海域；福建水師防衞福建、台灣海域；廣東水師防衞廣東海域。其中以北洋水師規模最大。

北洋水師是清政府最重要、戰鬥力最強的新式海軍，從創辦以來就由北洋大臣李鴻章掌握。1875年，李鴻章受命創辦，在他親自主持下，水師發展迅速，從外國購買了大量先進艦船。至1888年，共有軍艦25艘，官兵4,000餘人，由外國教官負責訓練。後因慈禧太后挪用海軍軍費，水師發展緩慢，幾乎未增新艦。在1894年的甲午戰爭中，全軍覆沒。以後雖然又購了一些艦船，但已章法不存，無以成軍。1909年，清政府成立「海軍事務處」，北洋水師名義也取消了。

南洋水師是清政府的新式海軍，由南洋大臣掌管。1875年，兩江總督兼南洋大臣沈葆楨受命，督辦南洋海防，大力擴充南洋海軍。後在歷任南洋大臣主持下，南洋水師不斷發展，共有大小艦船26艘，其中有巡洋艦5艘，但沒有鐵甲艦。除少數向外國購買外，大多為江南製造局和福州船政局所製造。1884年中法戰爭爆發，南洋水師奉命派五艘船艦支援福建。其中兩艦在戰鬥中自行鑿沉，以免落入敵手，另有三艘駛入鎮海，將敵擊退。1909年，清政府成立「海軍事務處」，將南、北洋各艦改編為「巡洋艦隊」和「長江艦隊」，南洋水師不再存在。

從1867至1882年，有數任的廣東地方官員已開始購買或自建一些小輪船，用於巡查緝私。1884年，發生中法戰爭，張之洞就任兩廣總督，加快建設廣東水師。但廣東水師仍以淺水船為主，大多數的艦船只能守口巡洋，只有數艘大船可出洋助戰。1894年，廣東水師的「廣甲」、「廣乙」、「廣丙」三艦參加中日海戰。「廣乙」艦中炮多枚，管帶林國祥下令自行鑿沉，以免落入敵人手中。「廣甲」艦被日軍擊沉，「廣丙」艦被俘。

從十九世紀六十年代起，福建的地方官員開始購買小型輪船，用於巡洋緝私。隨着設立福建船政局，福建水師在六十至八十年代有較大的發展，船隻以福建船政局製造為主。1884年，法國艦隊在馬尾對福建水師發動突擊，水師倉卒應戰，旗艦「揚武」被水雷擊中，運輸艦「福星」衝入敵陣激戰，中彈爆炸。11艘船艦中被擊沉9艘（有兩艘後被撈起），官兵傷亡七百多人，幾乎全軍覆沒。此戰之後，福建水師僅增加兩艘艦隻，已難成軍。