蔡元培在家境贫困的情况下，单凭苦学力求上进，所走的仍然是传统读书人的老路，沿着科举考试的梯阶一级一级往上攀，由秀才到举人到进士，大约十年时间就升到梯阶的顶端。

1883年蔡元培十七岁时，入学补诸生，即取得秀才资格，开始广泛地读书。他可以随时借阅叔父蔡铭恩的藏书，包括一些有关考据和词章的著作，在学问方面受到章学诚《文史通义》的影响。俞正燮的《癸巳类稿》和《癸巳存稿》，颇以男女平等为言，对蔡元培后来提倡民权和女权，也有促进的作用。

十八、十九岁那两年，蔡元培在家中设馆教书，自己当起塾师来了，所教的内容是对句和八股文。他曾于1885年到杭州参加每三年一次在各省举行的乡试，但未考取，此后在同乡望族徐树兰举人家中读书。徐家建有“古越藏书楼”，又喜欢校书和印书，以文会友。蔡元培为徐家校勘所刻书籍，前后四五年，学问大有进展，治史偏于文化风俗方面，还阅读了一些算学和医学书。他后来虽曾参加过政治活动，始终以学术方面的兴趣最大。

1889年（光绪十五年），蔡元培二十三岁，这年八月他参加浙江乡试，中举人。他这次应试所作的文章，据说一开头就引用《礼记》中“饮食男女，人之大欲存焉”的句子，内容有异于一般四平八稳的科举八股文，结果受到赏识。这一届浙江乡试的正考官，是大名鼎鼎的文学家李文田。副考官陈鼎也偏向改革维新。

蔡元培这篇文章，是当时浙江闱墨中三篇“怪八股”之一，坊间竞相刊刻摹仿，传诵一时。“其实所谓怪八股，仅仅多用周秦子书典故，为读书人吐气，打倒高头讲章而已”（吴稚晖语）。当时清真雅正的八股家，太息以为文妖，自此之后，蔡元培就得了“蔡文妖”的别称。他一生是个恂恂儒者，关键时刻出“怪招”，做出标奇立异的举动，这是第一次，后来偶尔也使用。

次年蔡元培赴京参加会试，近代另一位著名人物梁启超也在广东乡试中了举人，与蔡元培同年赴京，但结果梁启超落第，蔡元培中式，成为贡士。据说蔡元培曾将会试文章誊给乡试考官李文田看，但李指出他作这种文章是不适宜于科举，不过房官（分房阅卷的考官）名儒王颂蔚很赏识他的卷子。

清代科举考试制度，会试中式后为贡士，贡士尚须经过覆试及殿试合格，方为进士，若贡士因丁忧或其他事故不能参加本科殿试，可以告假，准于下一、二科补考。当时蔡元培未等到放榜，就离开北京了，所以赶不及参加本科殿试，两年后始成进士。蔡元培《自写年谱》解释：“因殿试朝考的名次均以字为标准，我自量写得不好，留俟下科殿试”。他回乡后有否勤于练字，不得而知，从存世的墨宝看来，他的字确实不够四平八稳。1892年，蔡元培赴北京补殿试，中二甲第三十四名进士（加上一甲三名，名列第三十七），朝廷引见后，授为翰林院庶吉士。

1894年，蔡元培应散馆考试，升补翰林院编修，又任李慈铭京寓塾师半年，开始涉猎译本西书。这年中日甲午战争爆发，翰林院侍讲学士文廷式领衔请密联英、德以御日人，蔡元培也在这本奏折上署名。有识之士预感到国家将面临更大危机，希望在政策、思想及言论上寻求出路，首先展开活动的是康有为、梁启超师徒，提倡变法，史称“戊戌维新”。但新政颁布仅一百零三日便因政变而失败了。蔡元培的思想是偏向维新方面的，最佩服谭嗣同，不过他认为改变积弊要从培养人才的根本上着手，凭着几道上谕就想扭转局面绝不可能。结果慈禧太后临朝听政，幽禁光绪帝，康、梁逃亡海外，保守派控制大局，新政除京师大学堂得以保留外，全部都被推翻了。

蔡元培深感此后的北京朝廷已无可为，翰林院编修的职位不足留恋，他的翰林院同事兼好友张元济和帝师翁同龢等都因变法获罪被逐，顿使他觉得寂寞起来。于是请假离开北京，返回家乡，打算从教育方面实现他的理想。在蔡元培的人生路上这是一个转捩点，决定了他此后的去向。