蔡元培从北京卸职南归时，绍兴绅士徐树兰正好办了一所中西学堂，推荐他做学堂监督（校长），这是蔡元培服务于新式学校的开始。学校分为三斋，略如日后的高小、初中和高中一年级，所教的内容有中国的旧学，也有西洋学科和英文、法文、日文。后来曾任北京大学校长的蒋梦麟，是第一斋的小学生。不过在学堂里，新旧两派教员的对立很明显，属旧派的徐树兰出面干涉，被认为袒护新派的蔡元培因而辞职。

蔡元培离开中西学堂后，仍一心为教育事业奔走，他在晚清时期的教育工作经历，成为他后来带领中国新教育的磨炼。此后蔡元培曾为绍兴侨农创建小学，并任嵊县剡山书院院长一年，及任上海澄衷学堂代理总理，1901年又任上海南洋公学特班总教习。上海南洋公学是交通大学前身，包括小学、中学和高等专门学堂，“特班”录取四十二名在传统教育下成长而又有志于西学的读书人（以秀才、举人居多），授以外国语言及经世之学，成绩优异者保送“经济特科”，这是清朝在科举取士的常科外，由特诏形式来甄别特殊人才的一次考试。当时蔡元培三十五岁，已逐渐建立新学人士的形象，在上海文教界活跃起来，他赏识的学生，有邵力子、胡仁源、黄炎培等。

1902年蔡元培发起中国教育会并任会长。同年11月发生南洋公学退学风潮，蔡元培辞职，与中国教育会商议，帮助学生成立爱国学社，爱国女学亦于此时成立。退学的部分学生经蔡元培介绍跟从天主教神父马相伯学习，马相伯以此为基础，创立震旦学院，后来演变成为震旦大学，是上海复旦大学的先导。

1903年，《苏报》邀蔡元培、吴稚晖、章炳麟（太炎）等轮流撰写论说，报馆资助学社经费作为报酬。当时激进人士每每把革命和排满混为一谈，蔡元培在报上发表《释仇满》，认为满人血统与汉族混杂既久，其语言文字风俗亦已为汉族所同化，只要满人自觉并放弃其特权，汉人决无仇视满人的必要。他企图说明满汉间的矛盾是政治上而非种族上，反对持种族之见以言仇满的激烈主张。

但情况急转直下，蔡元培因爱国学社与中国教育会冲突日甚，大感失望，转赴青岛。之后，章太炎和邹容由于在报上发表鼓动革命的文章，被清廷逮捕，分别判监三年和两年，是为“苏报案”。蔡元培返回上海，适逢俄人进兵奉天，于是办了名为《俄事警闻》日报，日俄战争爆发后，改为《警钟日报》。该报后因鼓吹革命被封。

1905年，蔡元培在上海加入中国同盟会，由黄兴主盟。黄兴擕带孙中山委任书，委任蔡元培为上海分会会长。蔡元培毕竟是读书人出身，希望从教育、文化和思想方面着手来刷新中国。他曾参与相关活动，但自谓“在上海所图皆不成，意颇倦”，不免感到失落。因此，改换环境的愿望愈来愈强烈。

1906年秋，蔡元培听闻清政府有意派遣编修、检讨出洋留学之议，决定进京销假，申请留学欧洲。赴北京前他对学生黄炎培说，救中国必以学，德国学术为世界之最，所以希望到德国留学。

由于愿意远赴欧洲的人数太少，政府又绌于经费，所以悉数派去日本，蔡元培只好留待下次机会，临时被聘为译学馆教习，讲授国文及西洋史。译学馆后来归并于京师大学堂（北京大学前身），所以他此次短期任职，是第一次服务北京大学。

次年，清政府派孙宝琦出使德国，孙宝琦允每月资助蔡元培学费三十两，商务印书馆又与他订定每月送编译费百元，基本生活费用问题既已解决，蔡元培于是随孙宝琦赴德。六月初乘火车由天津、山海关至沈阳，再取道哈尔滨，月底乘俄国火车开行，途经莫斯科小憩数日，七月中抵达德国首都柏林。当时蔡元培四十一岁，是个年纪稍大的中年留学生。待他回国时，中国已发生巨变。