第二次鸦片战争后，洋务派开始购置西洋枪炮，操练西洋阵法。不久，湘军、淮军更大量装备枪炮。李鸿章特别规定，淮军必须学习西洋枪炮和阵法。“自强之术，必先练兵”这是洋务派最初的口号。从1861年起，洋务派开始购买洋枪洋炮，训练西洋阵式。1862年，在天津组建“洋枪队”，聘外国军事教官主持。淮军在李鸿章带领下，“尽弃中国习用之鸟枪，而变为洋枪队”，成为一支装备先进的军队。1867年后，左宗棠所率领的湘军也加快使用洋枪、洋炮，更换土枪、土炮。到十九世纪八十年代以后，以洋枪、洋炮武装起来的淮军、湘军，在许多地方逐渐取代清政府的八旗、绿营旧式军队，被称为“防军”。

在镇压完太平天国后，洋务派的军事建设转移到建船造舰和海防建设。他们在建立造船厂时，也开始筹建海军。1874年，日本派兵侵略中国领土台湾，清政府大为震怒。洋务派提出，日本之所以来侵，就是因为学习了西方初建海军。因此中国也应变改，建设现代海军。同年11月初，清廷发表上谕，要求百官对建设海军一事发表意见。一时奏章纷呈，其中最有份量的是李鸿章的《筹议海防折》。洋洋万言，分析了中国的险恶国际形势，指出当前外患不同于历代边患，不能以传统方法反侵略，只有变法，建设海军和现代海防，才能保全中国。而现代海军、海防的建设需要大量资金，李鸿章在此奏折中，提出创办民用企业的主张。到十九世纪七十年代中期，筹建海军仍处于分散的尝试阶段，在清政府内部并未引起太大重视。但随着列强侵略加剧，洋务派也就加速了建设海军的步伐，并具体提出建设北、东、南三洋水师。到1884年，实际建设的四支水师已初具规模。北洋水师防卫山东、直隶、奉天海域；南洋水师防卫江苏、浙江海域；福建水师防卫福建、台湾海域；广东水师防卫广东海域。其中以北洋水师规模最大。

北洋水师是清政府最重要、战斗力最强的新式海军，从创办以来就由北洋大臣李鸿章掌握。1875年，李鸿章受命创办，在他亲自主持下，水师发展迅速，从外国购买了大量先进舰船。至1888年，共有军舰25艘，官兵4,000余人，由外国教官负责训练。后因慈禧太后挪用海军军费，水师发展缓慢，几乎未增新舰。在1894年的甲午战争中，全军覆没。以后虽然又购了一些舰船，但已章法不存，无以成军。1909年，清政府成立“海军事务处”，北洋水师名义也取消了。

南洋水师是清政府的新式海军，由南洋大臣掌管。1875年，两江总督兼南洋大臣沈葆桢受命，督办南洋海防，大力扩充南洋海军。后在历任南洋大臣主持下，南洋水师不断发展，共有大小舰船26艘，其中有巡洋舰5艘，但没有铁甲舰。除少数向外国购买外，大多为江南制造局和福州船政局所制造。1884年中法战争爆发，南洋水师奉命派五艘船舰支援福建。其中两舰在战斗中自行凿沉，以免落入敌手，另有三艘驶入镇海，将敌击退。1909年，清政府成立“海军事务处”，将南、北洋各舰改编为“巡洋舰队”和“长江舰队”，南洋水师不再存在。

从1867至1882年，有数任的广东地方官员已开始购买或自建一些小轮船，用于巡查缉私。1884年，发生中法战争，张之洞就任两广总督，加快建设广东水师。但广东水师仍以浅水船为主，大多数的舰船只能守口巡洋，只有数艘大船可出洋助战。1894年，广东水师的“广甲”、“广乙”、“广丙”三舰参加中日海战。“广乙”舰中炮多枚，管带林国祥下令自行凿沉，以免落入敌人手中。“广甲”舰被日军击沉，“广丙”舰被俘。

从十九世纪六十年代起，福建的地方官员开始购买小型轮船，用于巡洋缉私。随着设立福建船政局，福建水师在六十至八十年代有较大的发展，船只以福建船政局制造为主。1884年，法国舰队在马尾对福建水师发动突击，水师仓卒应战，旗舰“扬武”被水雷击中，运输舰“福星”冲入敌阵激战，中弹爆炸。11艘船舰中被击沉9艘（有两艘后被捞起），官兵伤亡七百多人，几乎全军覆没。此战之后，福建水师仅增加两艘舰只，已难成军。