1923年1月，叶圣陶到商务印书馆编译所国文部当编辑。到商务后，叶圣陶承接的第一项工作，是和顾颉刚一起编纂《新学制初中国语教科书》（第二至第六册），由商务印书馆出版。1923年5月，叶圣陶应江苏省教育当局的委任，拟定了《初级中学国语课程纲要──新学制初级中学国语课程纲要（草案）》。这份“课程纲要（草案）”凝聚了叶圣陶的语文教育思想，是中国现代语文教育史上的重要文献。除了日常的编辑工作之外，叶圣陶署名选注的有《荀子》、《礼记》等，他继承了无证不信的乾嘉学风，广泛汲取新的知识和理念，提出学术研究要有“客观的态度”和“融通的性习”。他还编纂中学国文教科书《国语》和“学生国学丛书”。

1925年的“五卅惨案”发生的第二天大清早，叶圣陶就冒着大雨到南京路去参拜同胞，连夜写了《五月三十一日急雨中》。又和郑振铎、沈雁冰、王伯祥等同仁一起，出版了《文学周报》“五卅”专号，创办了《公理日报》和《苏州评论》，率先喊出了“打倒帝国主义”的口号，强烈要求“收回租界”，并和夫人胡墨林一起加入了中国国民党。1926年1月17日，中国济难会上海市总会正式成立。叶圣陶受命主编中国济难会的会刊《光明》半月刊，号召社会各界人士抛弃“悲叹颓丧与一切消极”，“努力创造光明”。

1925年，商务印书馆的编辑章雪村被辞退。在叶圣陶等人的支持下，章雪村创办了《新女性》，出版“妇女问题丛书”，还创办了开明书店。叶圣陶觉得与这书店的人意趣相投，1931年1月辞了商务印书馆，到开明任职。他一到开明书店就接手主编《中学生文艺》和《中学生》杂志。《中学生文艺》创刊于1930年冬天，每年出一册，1934年改为半年刊，1935年起改为季刊，专门刊登青年学生写的文艺作品和读书笔记。1936年1月，为纪念开明书店创业十周年又创办了《新少年》半月刊，仍由叶圣陶主编。《新少年》面向小学高年级和初中一二年级学生，以童话、小说、散文、诗歌等儿童文学为主体，兼及文艺欣赏。1930年代，叶圣陶有感于教科书出版情况的混乱，编写了一部《开明小学国语课本》。《开明国语课本》配了丰子恺绘画，图文并茂，成了开明书店的“社传宝书”，解放前印了四十多版。在编撰《开明国语课本》的同时，叶圣陶还和夏丏尊合写了读书故事《文心》，《文心》先是在《中学生》杂志上连载，1934年6月由开明书店出版单行本。也就在1934年，叶圣陶和夏丏尊、宋云彬、陈望道合编的《开明国文讲义》，由开明书店出版，全书共三册。1935年，叶圣陶与夏丏尊合编“初中国文课教学自修用”的《国文百八课》（共六册，每册十八课，后两册未能出版）。这是一部侧重文章形式的书。

1934年2月19日，国民党政府下令尊孔，规定8月27日为孔诞纪念日。叶圣陶说中等学校学生不必“读经”，但也要了解和享受“固有文化”，接受“文化遗产”。叶圣陶和夫人胡墨林编纂了《十三经索引》，点校了“明代传奇之总结集《六十种曲》”，和开明同人筹划出版了《二十五史》和旨在“补各史表的重要著作总结集”的《二十五史补编》。

老舍原是中华全国文艺界抗敌协会的总务部主任。抗战胜利后，中华全国文艺界抗敌协会改名为中华全国文艺界协会，简称“文协”，因老舍赴美讲学，自1946年2月24日始，叶圣陶接替老舍担任文协常务理事兼总务部主任，主持文协的日常工作。除主编《中学生》杂志，他还和朱自清、吕叔湘、李广田等人一起合编了《开明新编高级国文读本》（共六册）和《开明文言读本》（共三册）；和郭绍虞一起主编《国文月刊》，并主编文协会刊《中国作家》。《国文月刊》原是国立西南联合大学师范学院的院刊，创刊于1940年6月，由开明书店股份有限公司驻桂林办事处出版，浦江清、余冠英、朱自清等都曾担任过该刊的主编或编委。1946年开明书店出版的《抗战八年木刻选集》，亦由叶圣陶筹划和编辑。《抗战八年木刻选集》汇集了抗战期间的木刻一百幅。

1949年初，叶圣陶应中共中央邀请，由上海经香港到达北平，担任华北人民政府教科书编审委员会主任。1949年10月20日，叶圣陶被任命为出版总署副署长兼编审局副局长（后来兼任局长）。胡愈之为署长，周建人亦任副署长。1950年11月13日，教育部与出版总署成立教科书编审委员会，叶圣陶任教科书编审委员会主任。同年12月1日，人民教育出版社成立，叶圣陶任社长兼总编辑。1954年9月，出版总署撤销，并入文化部。10月30日，叶圣陶任教育部副部长，仍兼人民教育出版社社长和总编辑。1966年8月2日，叶圣陶被免去教育部副部长职务。从新中国成立到“文革”初期的十七年间，叶圣陶把全部精力贡献给了新中国的出版事业和教育事业，是新中国教材和教育图书编辑出版事业的卓越领导人，特别是他在语文教育方面有着杰出的贡献，被誉为“一代宗师”。