1923年1月，葉聖陶到商務印書館編譯所國文部當編輯。到商務後，葉聖陶承接的第一項工作，是和顧頡剛一起編纂《新學制初中國語教科書》（第二至第六冊），由商務印書館出版。1923年5月，葉聖陶應江蘇省教育當局的委任，擬定了《初級中學國語課程綱要──新學制初級中學國語課程綱要（草案）》。這份「課程綱要（草案）」凝聚了葉聖陶的語文教育思想，是中國現代語文教育史上的重要文獻。除了日常的編輯工作之外，葉聖陶署名選註的有《荀子》、《禮記》等，他繼承了無證不信的乾嘉學風，廣泛汲取新的知識和理念，提出學術研究要有「客觀的態度」和「融通的性習」。他還編纂中學國文教科書《國語》和「學生國學叢書」。

1925年的「五卅慘案」發生的第二天大清早，葉聖陶就冒着大雨到南京路去參拜同胞，連夜寫了《五月三十一日急雨中》。又和鄭振鐸、沈雁冰、王伯祥等同仁一起，出版了《文學週報》「五卅」專號，創辦了《公理日報》和《蘇州評論》，率先喊出了「打倒帝國主義」的口號，強烈要求「收回租界」，並和夫人胡墨林一起加入了中國國民黨。1926年1月17日，中國濟難會上海市總會正式成立。葉聖陶受命主編中國濟難會的會刊《光明》半月刊，號召社會各界人士拋棄「悲嘆頹喪與一切消極」，「努力創造光明」。

1925年，商務印書館的編輯章雪村被辭退。在葉聖陶等人的支持下，章雪村創辦了《新女性》，出版「婦女問題叢書」，還創辦了開明書店。葉聖陶覺得與這書店的人意趣相投，1931年1月辭了商務印書館，到開明任職。他一到開明書店就接手主編《中學生文藝》和《中學生》雜誌。《中學生文藝》創刊於1930年冬天，每年出一冊，1934年改為半年刊，1935年起改為季刊，專門刊登青年學生寫的文藝作品和讀書筆記。1936年1月，為紀念開明書店創業十周年又創辦了《新少年》半月刊，仍由葉聖陶主編。《新少年》面向小學高年級和初中一二年級學生，以童話、小說、散文、詩歌等兒童文學為主體，兼及文藝欣賞。1930年代，葉聖陶有感於教科書出版情況的混亂，編寫了一部《開明小學國語課本》。《開明國語課本》配了豐子愷繪畫，圖文並茂，成了開明書店的「社傳寶書」，解放前印了四十多版。在編撰《開明國語課本》的同時，葉聖陶還和夏丏尊合寫了讀書故事《文心》，《文心》先是在《中學生》雜誌上連載，1934年6月由開明書店出版單行本。也就在1934年，葉聖陶和夏丏尊、宋雲彬、陳望道合編的《開明國文講義》，由開明書店出版，全書共三冊。1935年，葉聖陶與夏丏尊合編「初中國文課教學自修用」的《國文百八課》（共六冊，每冊十八課，後兩冊未能出版）。這是一部側重文章形式的書。

1934年2月19日，國民黨政府下令尊孔，規定8月27日為孔誕紀念日。葉聖陶說中等學校學生不必「讀經」，但也要了解和享受「固有文化」，接受「文化遺產」。葉聖陶和夫人胡墨林編纂了《十三經索引》，點校了「明代傳奇之總結集《六十種曲》」，和開明同人籌劃出版了《二十五史》和旨在「補各史表的重要著作總結集」的《二十五史補編》。

老舍原是中華全國文藝界抗敵協會的總務部主任。抗戰勝利後，中華全國文藝界抗敵協會改名為中華全國文藝界協會，簡稱「文協」，因老舍赴美講學，自1946年2月24日始，葉聖陶接替老舍擔任文協常務理事兼總務部主任，主持文協的日常工作。除主編《中學生》雜誌，他還和朱自清、呂叔湘、李廣田等人一起合編了《開明新編高級國文讀本》（共六冊）和《開明文言讀本》（共三冊）；和郭紹虞一起主編《國文月刊》，並主編文協會刊《中國作家》。《國文月刊》原是國立西南聯合大學師範學院的院刊，創刊於1940年6月，由開明書店股份有限公司駐桂林辦事處出版，浦江清、余冠英、朱自清等都曾擔任過該刊的主編或編委。1946年開明書店出版的《抗戰八年木刻選集》，亦由葉聖陶籌劃和編輯。《抗戰八年木刻選集》彙集了抗戰期間的木刻一百幅。

1949年初，葉聖陶應中共中央邀請，由上海經香港到達北平，擔任華北人民政府教科書編審委員會主任。1949年10月20日，葉聖陶被任命為出版總署副署長兼編審局副局長（後來兼任局長）。胡愈之為署長，周建人亦任副署長。1950年11月13日，教育部與出版總署成立教科書編審委員會，葉聖陶任教科書編審委員會主任。同年12月1日，人民教育出版社成立，葉聖陶任社長兼總編輯。1954年9月，出版總署撤銷，併入文化部。10月30日，葉聖陶任教育部副部長，仍兼人民教育出版社社長和總編輯。1966年8月2日，葉聖陶被免去教育部副部長職務。從新中國成立到「文革」初期的十七年間，葉聖陶把全部精力貢獻給了新中國的出版事業和教育事業，是新中國教材和教育圖書編輯出版事業的卓越領導人，特別是他在語文教育方面有着傑出的貢獻，被譽為「一代宗師」。