五四運動後，蔡元培雖然仍任北大校長職務，至1923年才正式離任。其間，他曾前往歐美考察教育及到檀香山出席太平洋教育會議。當他離職後，與家眷再前赴歐洲，先在比利時居住，繼而到法國協助辦理華法教育會及里昂中法大學事務。1924年其妻子在德國漢堡大學報名入學，他則在該校研究民族學。這年他已五十八歲。

南京國民政府在1927年4月成立，蔡元培回國出任教育行政委員會委員。翌月議決成立中央研究院，他被推為籌備委員。當時又有提議，組織中華民國大學院，作為最高教育行政機關，國民政府於是任命蔡元培為大學院院長。

提倡「教授治校」

大學院及大學區制，在中國教育史上是一個新嘗試，最初先在北平（包括河北省）、江蘇及浙江三區試行。這個主張是根據法國學制，參以英、美、德諸國制度，分全國為若干大學區，每區設一大學，區內的中小學教育和有關教育範圍內的活動，均由大學辦理及兼管。其上設大學院，作為全國最高的學術教育機關，管理全國學生及教育行政事務，而由大學校長及專門學者組成的「大學委員會」決定其政策。這個設計是試圖以學術代替官僚的作風，目的在於建設獨立的教育制度，由教育專家負責教育事業，用意未嘗不善。但因條件未備而倉促頒行，加以國內政局不穩，引起不少流弊，結果取消。

蔡元培對於大學管理的重要主張是「教授治校」，他在教育總長任內已有類似見解，而由接任的教育總長范源濂正式公布，明定大學設置評議會和各科教授會。蔡元培擔任北京大學校長期間，完全實現了這一主張。其後實行大學區制時，不少條文亦以之為原則。「教授治校」一直是高等教育的理念，至今仍備受推崇。蔡元培主張教育事業要與學術研究相配合，尤以高等教育為然，強調大學不單只負責教學，同時也是學術研究機構，要設立各科研究所，他又把研究生部門改稱為「研究院」。

成立中央研究院

1927年11月，中央研究院籌備會及專門委員會召開成立大會，通過《中央研究院組織條例》，推蔡元培為院長人選。次年4月，國民政府任命他為中央研究院院長，他隨即於6月在上海主持第一次院務會議。

中央研究院於1928年6月9日正式成立，其任務是實行科學研究，指導、聯絡、獎勵學術之研究。其組織形式，是在院長領導下設立行政、研究、評議三部分，而以研究為其中堅。至1930年初，相繼成立了物理、化學、工程、地質、天文、氣象、歷史語言、心理、社會科學九個研究所和一個自然博物館，聘請了一批著名專家學者為研究員，初步形成一個較為完備的研究體系。作為當時全國最高學術機關的中央研究院，規模至此漸備。各個研究所在十幾二十年間做出了不少成績。十九世紀中葉以來，中國學術界以介紹西方科學成就為主的局面，至此漸見改觀，本國的一些研究成果，甚至達到世界水平。蔡元培的領導，與有功焉。中央研究院在儲備人才、扶掖專家及促進國內外學術交流等方面，都有明顯的功勞。

在香港病逝

1936年11月下旬起，蔡元培身體不適，大病了一場，自此健康漸差。「七七事變」爆發後，中日戰爭擴大，日本侵華更為猖獗。年屆七十一歲的蔡元培在丁西林、周仁陪同下，離開上海，赴香港養病。1938年2月28日，他還在香港旅館主持中央研究院院務會議，總幹事朱家驊及各所所長均有參加，並通過要案七項。1940年1月11日，他為中央研究院評議會改選事，致函評議會秘書長翁文灝，委以最後決定權由他執行。這是蔡元培為中央研究院辦的最後一件公事。同年3月3日蔡元培胃病突發，翌日入醫院時已昏迷，延至5日與世長辭。

總的來說，蔡元培擔任教育總長、北京大學校長、中央研究院院長，是他為中國教育界和學術界服務的三件主要工作，而且都有巨大的貢獻。教育與學術並重，是他垂訓後輩文化人的至高理念。