中国现代大学是在清末西学东渐和废除科举的基础上发展起来的，与传统的太学、国子监、书院没有实质联系。十九世纪六十至九十年代，是现代大学的萌芽时期，奕欣、李鸿章、左宗棠、张之洞等洋务派官僚为适应现实需要，陆续创办京师同文馆、福建船政学堂、天津中西学堂、上海南洋公学等洋务学堂。这些新式专门学校传授西方的语言文字、自然科学及军事技术，培养西学专门人才，是近代大学的前身，近代中国正式的大学以京师大学堂的创立为开端，后改名为北京大学，迄今已逾百年。

晚清时期，国内掀起变法救亡运动，以康有为、梁启超、严复、谭嗣同为首的维新派，力求变革。在变法浪潮的推动下，近代新式大学应运而生，光绪诏令孙家鼐为管学大臣，负责筹办京师大学堂。梁启超拟定有关章程，采纳近代西方大学的课程模式。

1898年底，京师大学堂正式开学，是中国近代第一所国立大学，因受变法失败影响，大学堂实际仅设诗、书、易、礼四堂，春秋二堂，学生不及百人。许景澄、丁韪良分别被聘为中文、西文总教习。八国联军占领北京后，学堂停废，至1902年京师大学堂复办，其后京师大学堂正式开办分科大学，开设除医学以外的7门学科。京师大学堂在1912年中改名为北京大学，严复任校长。1916年底，蔡元培任校长，推行“学术自由，相容并包”的方针。

从1905年废除科举教育体制，到1922年新学制的实施，中国逐步建立一套适应专门人才培养需要的大学体制。随着中华民国成立，教育总长蔡元培主持起草一系列教育法令和法规，推动大学改革，逐步建立比较完整的大学教育体制，大学的数量与类型不断增加，大学教育行政管理体制更新，建立专门的教育管理机构，管理职能扩大。在招生与就业体制上，由高校自行举办招生考试，择优录取学生；学生毕业后，自谋职业。在教学管理方面，引入西方班级授课制，参照近代课程标准，实行选科制与学分制。

在1912至1927年，各类大学的数量增长较快。1917年全国有私立大学7所，1925年增至25所。除北京大学、北洋大学、山西大学外，1921年在南京高等师范学校基础上成立国立东南大学。此后各地陆续成立交通大学、暨南商科大学、北京师范大学、东北大学、广东大学（1926年改名中山大学）、山东大学等。至1927年，全国共有大学52所。

民国初年规定，大学分文、理、法、商、医、农、工7科，以文理为主；凡文理二科并设，或文科兼法商二科者，或理科兼医、农、工三科、二科或一科者，才能称大学。1917年开始允许设立单科大学；1929年《大学组织法》、《大学规程》颁布后，重新规定，大学分文、理、法、教育、商、工、农、医8个学院，具备3学院以上者，可称为大学；3学院中至少含有理学院或工、农、医各学院之一种。

民国时期大学培养出众多高质量的人才，如理论物理学家王竹溪、彭桓武；核物理学家施士元、王淦昌、钱三强；力学家林家翘、钱伟长；光学家周同庆、王大珩；地球物理学家赵九章；数学家陈省身；考古学家夏鼐；历史学家吴晗、何炳棣；文学家钱钟书、朱自清、曹禺；哲学、史学及语言学大师季羡林；语言学家王力；社会学家费孝通；外交家乔冠华等。