蔡元培在1868年出生於浙江紹興，時值晚清同治年間。蔡家數代從商，他父親是錢莊經理。蔡元培在城裏長大，十八歲前沒有離開過家鄉，經常接觸的人，除雙親外就是兄弟姊妹。他在七人之中排行第四，但有的年少早殤或病故，這在當時醫療落後的情況下是尋常現象，實則只餘下兄弟三人。

蔡元培成長的年代，正值洋務運動時期，當時西方列強加緊向中國滲透，不過除了沿海通商口岸，其他地區大抵仍能維持平靜、儉樸的生活方式，新式教育尚未普遍開展。因此，他接受的仍是傳統教育，六歲開始入家塾讀書，即延聘教師在家教讀，讀《百家姓》、《千字文》、《神童詩》等學童啟蒙課本，跟着就是四書五經，由《大學》、《中庸》、《論語》、《孟子》，以至《詩經》、《書經》、《周易》、《小戴禮記》和《春秋左氏傳》等，一本接一本地讀下去。起初純粹是背誦，老師並不講解，等到讀五經時，才講解一點。無論明白與否，讀的次數多了，自然背得出來。

讀書以外，還有識字、習字和對句，這使蔡元培開始對文義有所了解，隨後老師就教「八股文」。這是科舉考試的一種文體，又稱「制藝」或「時文」，本是散文的體裁，後來漸漸參用排律詩與律賦的格式，演變成分股的文體。通常雖稱八股，到蔡元培的時候，已經以六股為最普通了。作為應付科舉考試必須具備的能力，年輕學子都要花費很多時間反覆學習寫作。

由於蔡元培性好讀書，塾師認為他是可造之材，督促甚嚴，所授功課往往要學習至深夜始能完畢。他母親周氏亦不辭勞苦，時常陪坐案側，勉勵兒子用功。

1877年，蔡元培十一歲時，父親逝世，家中無甚積蓄，蔡元培的母親克勤克儉，撫育諸兒，每以「自立」、「不倚賴」作為勉勵。蔡元培自承性情寬厚，是父親的遺傳，而不苟取、不妄言，則得諸母教。他一生做事的作風，受母親影響很大。其後蔡元培寄居姨母家中，附讀一年，十二三歲時，則於李申甫所設私塾讀書。同時，蔡元培又在叔父蔡銘恩的指導下，讀《史記》、《漢書》、《困學紀聞》、《文史通義》、《說文通訓定聲》等。蔡銘恩任田氏塾師，門下頗盛，亦治詩古文辭，家中藏書甚多。蔡元培自幼奠定讀書基礎，實與此關係甚大。叔父還替他起了個字，叫做鶴卿。

十四歲至十七歲，蔡元培有三四年間隨同縣一位老秀才王懋修讀《禮記》和《左傳》。王懋修是當時的八股文名家，好談明季掌故，尤服膺明儒劉宗周（字蕺山），自號其齋曰「仰蕺山房」。他自己是隨便看書的，但對未成秀才的學生卻有禁令，規定除經書外，不許胡亂看書，認為學生作文時，用字都要出於經書，若把其他書中詞句用上，一定不為考官所取。當時讀書是為了考試，老師的用意是有苦心的。在王懋修的熏陶下，蔡元培二十歲前最崇拜宋儒。

蔡元培幼時侍奉叔父極盡敬愛，母親病時更躬侍湯藥。1886年，蔡元培二十歲時，其母病逝，他堅持要行古人「寢苫枕塊」之制，即睡草薦和寢土塊，但為家人所阻。他就在夜深人靜之後，挾枕蓆赴棺側，大家知道無法阻止，遂於靈堂內設床，兄弟共宿。他二十二歲時，母喪既除而未葬，得悉兄長替他訂婚，他認為這是大不孝的事，痛哭要求取消。類似這樣的舉動甚多，現代人看來，一個二十歲剛出頭的青年，竟有禮教家一般的舉止，未免有點過迂，但在當時的社會環境下，蔡元培所接受的既是儒家思想和傳統禮教，篤守不渝，以期所行與所學一致，是很合乎情理的。