1912年1月28日，叶圣陶从草桥中学毕业，来到苏州言子庙小学担任小学教员。言子庙小学全称为“苏州中区第三初等小学”，规模很小，只有四个年级。叶圣陶任二年级主任，除了教二年级的修身和算术，还得教二、三、四年级三个班的国文，任务相当繁重。他谦恭好学，一心想“导儿童于乐为研习之境”。3月31日，第一次发薪金，叶圣陶想到却是自己“贡献是否欠多”。但因他出身贫寒，没有后台，两年后就遭到排挤。1914年7月，言子庙小学以“由原来的四个班并成三个班”的理由，将叶圣陶辞退，可事后并没有“合并”班级。

1915年4月，叶圣陶应邀到上海尚公学校，担任高小一年级级任教员，教国文、习字、修身、历史、地理五门课。尚公学校始创于1906年春，是商务印书馆的实验小学，有初小四个年级、高小三个年级，学生大多是商务印书馆职工和工商业者的子弟，校长就是商务印书馆编辑所负责人之一的庄百俞。到上海之后，叶圣陶的眼界开阔了，尤其是受到《新青年》的影响，思想有了突变。1915年9月，陈独秀主编的《青年杂志》在上海创刊（第二卷起更名为《新青年》），这是“新文化运动”中最重要的杂志。陈独秀在发刊词《敬告青年》中提出了“人权”、“民主”与“科学”的口号。叶圣陶读了深受感动，已经充分意识到青年应该肩负的使命：面对二十世纪磅礴的新潮流，青年人应该有一种精神，有“一己所蕲向”。为了追求理想和信仰，叶圣陶辞别尚公学校，于1917年春季开学前，来到苏州甪直镇吴县第五高等小学（简称“五高”）任教。

1921年7月，叶圣陶应上海吴淞中国公学代理校长张东荪和中学部主任舒新城的邀请，到中国公学中学部教国文，应邀前来任教的还有朱自清、刘延陵、吴有训、周予同、陈兼善、许敦谷等八位新教员。中国公学是一所富有光荣传统的学校，在中国新教育史上有着特殊的地位。清朝末年，清政府派遣大批留学生赴日本留学，至光绪三十一年（1905年）已达万余人，学生良莠不齐，日本文部省于是年冬发布《取缔清国学生规则》，规定学生入学资格。中国留学生认为此举是侮辱中国，决议全体回国，发起创办中国公学。1906年春天，中国公学正式成立。1915年，梁启超担任中国公学董事长，熊希龄、王敬芳等为董事。1917年中国公学因故停办，梁启超等“致力于文化运动”，“很想吸收一批人才，造成一种新势力”，遂于1919年秋将中国公学重行恢复，设有商科及中学，由王敬芳任校长，张东荪任教务长（代理校长）。可就是这所富有光荣传统的学校，到了1921年已腐败不堪。学生自由散漫，教师放浪形骸。于是张东荪聘请在湖南长沙第一师范执教的舒新城担任中国公学中学部主任，又与舒新城一起请来“八位新教员”，试图对中国公学整顿和改革。中国公学中学部和商科的三百多名学生一致罢课，发表驱逐张东荪、舒新城和八位新教员的宣言。张东荪率员警到校驱赶闹事的学生，双方发生冲突。由于中国公学“改革”遇到的阻力太大，张东荪和舒新城只好妥协，闹事的学生反倒成了赢家。

朱自清离职后到杭州浙江第一师范任教，叶圣陶也应邀来到“一师”，与朱自清同在一个办公室办公，同在一个寝室就寝，朝夕相伴，联床共灯。“一师”学生潘漠华、汪静之、魏金枝、赵平福（柔石）、冯雪峰等和杭州其他几个中学的学生成立了“晨光文学社”，叶圣陶和朱自清一起担任顾问。两人从此建立了深厚的友谊。1922年2月22日，叶圣陶从上海乘火车北上，应北京大学校长蔡元培和中文系主任马裕藻的聘请，任北大预科讲师，主讲作文课。同车有郑振铎和俄国盲诗人、著名童话作家和世界语学者爱罗先珂。那时，叶圣陶的同学顾颉刚、王伯祥以及从小在一起长大的潘介泉和吴缉熙都在北大任教。叶圣陶和顾、王、潘四人“皆孤身羁旅”，“独缉熙携眷在京”，于是大家合租住在一起，过着“集体的生活”。叶圣陶在北大讲授写作课，这对于他来说是“轻车熟路”，课余访同在北大执教的周作人，访《晨报副刊》编辑孙伏园，陪同爱罗先珂到北大第三院大讲堂讲《世界语与文学》，听梁任公演讲，还与顾颉刚等同乡一起逛天桥听大鼓，游万生园、陶然亭，八达岭长城，生活丰富多彩。但因北大欠薪，叶圣陶只好离开北大。回苏州之后，叶圣陶应邀到上海复旦大学和神州女学任教。1923年春，经朱经农介绍，叶圣陶进商务印书馆编译所国文部当编辑。