中國現代大學是在清末西學東漸和廢除科舉的基礎上發展起來的，與傳統的太學、國子監、書院沒有實質聯繫。十九世紀六十至九十年代，是現代大學的萌芽時期，奕欣、李鴻章、左宗棠、張之洞等洋務派官僚為適應現實需要，陸續創辦京師同文館、福建船政學堂、天津中西學堂、上海南洋公學等洋務學堂。這些新式專門學校傳授西方的語言文字、自然科學及軍事技術，培養西學專門人才，是近代大學的前身，近代中國正式的大學以京師大學堂的創立為開端，後改名為北京大學，迄今已逾百年。

晚清時期，國內掀起變法救亡運動，以康有為、梁啟超、嚴復、譚嗣同為首的維新派，力求變革。在變法浪潮的推動下，近代新式大學應運而生，光緒詔令孫家鼐為管學大臣，負責籌辦京師大學堂。梁啟超擬定有關章程，採納近代西方大學的課程模式。

1898年底，京師大學堂正式開學，是中國近代第一所國立大學，因受變法失敗影響，大學堂實際僅設詩、書、易、禮四堂，春秋二堂，學生不及百人。許景澄、丁韙良分別被聘為中文、西文總教習。八國聯軍佔領北京後，學堂停廢，至1902年京師大學堂復辦，其後京師大學堂正式開辦分科大學，開設除醫學以外的7門學科。京師大學堂在1912年中改名為北京大學，嚴復任校長。1916年底，蔡元培任校長，推行「學術自由，相容並包」的方針。

從1905年廢除科舉教育體制，到1922年新學制的實施，中國逐步建立一套適應專門人才培養需要的大學體制。隨着中華民國成立，教育總長蔡元培主持起草一系列教育法令和法規，推動大學改革，逐步建立比較完整的大學教育體制，大學的數量與類型不斷增加，大學教育行政管理體制更新，建立專門的教育管理機構，管理職能擴大。在招生與就業體制上，由高校自行舉辦招生考試，擇優錄取學生；學生畢業後，自謀職業。在教學管理方面，引入西方班級授課制，參照近代課程標準，實行選科制與學分制。

在1912至1927年，各類大學的數量增長較快。1917年全國有私立大學7所，1925年增至25所。除北京大學、北洋大學、山西大學外，1921年在南京高等師範學校基礎上成立國立東南大學。此後各地陸續成立交通大學、暨南商科大學、北京師範大學、東北大學、廣東大學（1926年改名中山大學）、山東大學等。至1927年，全國共有大學52所。

民國初年規定，大學分文、理、法、商、醫、農、工7科，以文理為主；凡文理二科並設，或文科兼法商二科者，或理科兼醫、農、工三科、二科或一科者，才能稱大學。1917年開始允許設立單科大學；1929年《大學組織法》、《大學規程》頒佈後，重新規定，大學分文、理、法、教育、商、工、農、醫8個學院，具備3學院以上者，可稱為大學；3學院中至少含有理學院或工、農、醫各學院之一種。

民國時期大學培養出眾多高品質的人才，如理論物理學家王竹溪、彭桓武；核子物理學家施士元、王淦昌、錢三強；力學家林家翹、錢偉長；光學家周同慶、王大珩；地球物理學家趙九章；數學家陳省身；考古學家夏鼐；歷史學家吳晗、何炳棣；文學家錢鍾書、朱自清、曹禺；哲學、史學及語言學大師季羨林；語言學家王力；社會學家費孝通；外交家喬冠華等。