1889年蔡元培二十三歲時，與王昭結婚，同年中舉人，可謂雙喜臨門。夫婦相處，初時似乎不太合拍，蔡元培《自寫年譜》謂：「惡其繁瑣，常與之爭。夫人又尚氣，不能受怫逆之詞。」其後，蔡元培受到平權和自由思想的啟發，「乃使夫人得一切申其意」，伉儷之愛，視新婚有加。王昭為蔡元培誕下長子阿根和次子無忌。戊戌政變發生後，蔡元培請假攜眷出京，返抵紹興，夫人王昭於1900年病逝。

王氏去世未滿一周年，來做媒請續絃的人很多，蔡元培於是提出五個條件：一、女子須不纏足；二、須識字；三、男子不娶妾；四、男死後，女可再嫁；五、夫婦如不相合，可離婚。在傳統禮教觀念下，這些條件何等聳人聽聞！女子纏足、無才、男子娶妾，在當時被認為天經地義，而「再嫁」和「離婚」兩條更是驚世駭俗。由於擇偶條件太過奇特，媒人提到的女子沒有一條符合要求。

一年後，始訪得江西黃爾軒的女兒世振，字仲玉，天足，工書畫，且孝於親。蔡元培於是請江西葉祖薌介紹，於1901年在杭州結婚。當時蔡元培雖治新學，但仍篤守崇拜孔子舊習，舉行婚禮時不循浙江風俗掛三星畫軸，改懸掛寫上「孔子」兩個大字的紅幛子。他又於午後開演說會，請陳介石和宋平子二人演說母道，以代替鬧新房，形式很是別緻。陳介石引經據典，闡說男女平等的理論。宋平子則主張實事求是，反對平等之說，「倘黃夫人學行高於蔡先生，則蔡先生應以師禮視之，何止平等？倘黃夫人學行不及蔡先生，則蔡先生當以弟子視之，又何從平等？」蔡元培答道：「就學行言，固有先後，就人格言，總是平等。」如此別開生面的婚禮，當時的人都覺得奇怪。但以蔡元培的性格，倒不在乎別人怎樣批評他，試圖把新舊思想調和於一身，往往新中帶舊，舊中有新，成為思想過渡時期的一大特色。

當時上海友人有籌辦女子學校之議，蔡元培頗為贊成，即與夫人在白克路登賢里寓所邀集諸人，開會討論。其後定名為愛國女學校，參加人數僅十名左右。南洋公學退學事件發生後，為籌辦愛國學社，蔡元培起程乘輪舶赴南京商借款項，他的長子阿根重病在床，也不暇照顧。起行時家人來告知其子去世的消息，但他為了大局起見，不想延誤行程，只好揮淚囑託友人處理兒子後事，登輪而去。友人吳稚暉等送行的人都為他那臨危不亂、承諾不變的精神所感動，決意協助其事。三日後，蔡元培得六千元（一說五千元）而歸，愛國學社就成立起來了。

黃夫人婚後誕下長女威廉和三子柏齡。蔡元培辭教育總長職後，曾偕黃夫人、女威廉、子柏齡赴德國。其後蔡元培總是為政治和教育等事務，四出奔走，與家人時聚時分，甚至可以說離家的時間較多。1921年1月2日，他在巴黎參加留法學生善後事務委員會會議，同日黃夫人在北京法國醫院病逝。幾日後，他才得悉夫人去世的消息，無限悲痛，撰《祭亡妻黃仲玉》文，追述二十年來夫婦的感情，非常動人。

黃夫人逝世逾年期，蔡元培以子女尚皆年少，家庭狀況不得不續娶，復列條件三項：一、原有相當認識；二、年紀略大；三、須熟諳英文而能協助者。據此條件，他屬意愛國女學舊生周峻（字養浩）。周女士在他主持該校時即來就學，畢業後服務社會多年，且素有出國志願。經前任女學舍監徐仲可夫人介紹，1923年兩人在蘇州結婚，當時蔡元培57歲。婚後他偕同子女往比利時，周夫人及女兒威廉進入布魯塞美術學校研究藝術，後改赴法國，兒子柏齡則入比利時勞動大學研究工藝。蔡元培往來比、法兩國之間，並協助李石曾、吳稚暉辦理里昂中法大學。這是他晚年一段美好的家庭生活。

周夫人為蔡元培誕下次女睟盎、四子懷新、五子英多。1937年蔡元培來港養病，不久周夫人亦率子女到來團聚。周夫人和三名子女在香港陪伴蔡元培，直至他逝世後，才帶領子女返回內地，財物僅有蔡元培所寫的日記、文稿和一些書本。1980年代以來，蔡元培的後人時有到港掃墓致祭。