蔡元培從北京卸職南歸時，紹興紳士徐樹蘭正好辦了一所中西學堂，推薦他做學堂監督（校長），這是蔡元培服務於新式學校的開始。學校分為三齋，略如日後的高小、初中和高中一年級，所教的內容有中國的舊學，也有西洋學科和英文、法文、日文。後來曾任北京大學校長的蔣夢麟，是第一齋的小學生。不過在學堂裏，新舊兩派教員的對立很明顯，屬舊派的徐樹蘭出面干涉，被認為袒護新派的蔡元培因而辭職。

蔡元培離開中西學堂後，仍一心為教育事業奔走，他在晚清時期的教育工作經歷，成為他後來帶領中國新教育的磨煉。此後蔡元培曾為紹興僑農創建小學，並任嵊縣剡山書院院長一年，及任上海澄衷學堂代理總理，1901年又任上海南洋公學特班總教習。上海南洋公學是交通大學前身，包括小學、中學和高等專門學堂，「特班」錄取四十二名在傳統教育下成長而又有志於西學的讀書人（以秀才、舉人居多），授以外國語言及經世之學，成績優異者保送「經濟特科」，這是清朝在科舉取士的常科外，由特詔形式來甄別特殊人才的一次考試。當時蔡元培三十五歲，已逐漸建立新學人士的形象，在上海文教界活躍起來，他賞識的學生，有邵力子、胡仁源、黃炎培等。

1902年蔡元培發起中國教育會並任會長。同年11月發生南洋公學退學風潮，蔡元培辭職，與中國教育會商議，幫助學生成立愛國學社，愛國女學亦於此時成立。退學的部分學生經蔡元培介紹跟從天主教神父馬相伯學習，馬相伯以此為基礎，創立震旦學院，後來演變成為震旦大學，是上海復旦大學的先導。

1903年，《蘇報》邀蔡元培、吳稚暉、章炳麟（太炎）等輪流撰寫論說，報館資助學社經費作為報酬。當時激進人士每每把革命和排滿混為一談，蔡元培在報上發表《釋仇滿》，認為滿人血統與漢族混雜既久，其語言文字風俗亦已為漢族所同化，只要滿人自覺並放棄其特權，漢人決無仇視滿人的必要。他企圖說明滿漢間的矛盾是政治上而非種族上，反對持種族之見以言仇滿的激烈主張。

但情況急轉直下，蔡元培因愛國學社與中國教育會衝突日甚，大感失望，轉赴青島。之後，章太炎和鄒容由於在報上發表鼓動革命的文章，被清廷逮捕，分別判監三年和兩年，是為「蘇報案」。蔡元培返回上海，適逢俄人進兵奉天，於是辦了名為《俄事警聞》日報，日俄戰爭爆發後，改為《警鐘日報》。該報後因鼓吹革命被封。

1905年，蔡元培在上海加入中國同盟會，由黃興主盟。黃興擕帶孫中山委任書，委任蔡元培為上海分會會長。蔡元培畢竟是讀書人出身，希望從教育、文化和思想方面着手來刷新中國。他曾參與相關活動，但自謂「在上海所圖皆不成，意頗倦」，不免感到失落。因此，改換環境的願望愈來愈強烈。

1906年秋，蔡元培聽聞清政府有意派遣編修、檢討出洋留學之議，決定進京銷假，申請留學歐洲。赴北京前他對學生黃炎培說，救中國必以學，德國學術為世界之最，所以希望到德國留學。

由於願意遠赴歐洲的人數太少，政府又絀於經費，所以悉數派去日本，蔡元培只好留待下次機會，臨時被聘為譯學館教習，講授國文及西洋史。譯學館後來歸併於京師大學堂（北京大學前身），所以他此次短期任職，是第一次服務北京大學。

次年，清政府派孫寶琦出使德國，孫寶琦允每月資助蔡元培學費三十兩，商務印書館又與他訂定每月送編譯費百元，基本生活費用問題既已解決，蔡元培於是隨孫寶琦赴德。六月初乘火車由天津、山海關至瀋陽，再取道哈爾濱，月底乘俄國火車開行，途經莫斯科小憩數日，七月中抵達德國首都柏林。當時蔡元培四十一歲，是個年紀稍大的中年留學生。待他回國時，中國已發生巨變。