1923年4月，为追求新生活，未满19岁的巴金同他的三哥李尧林一道，去神往已久的新文化运动中心上海。到达上海不久，兄弟俩一同考入上海南洋中学。年底，考进南京著名的东南大学附属中学。巴金除学习高中课程外，课余继续研究无政府主义学说和社会革命理论。 1925年夏，巴金兄弟高中毕业，尧林报考苏州的东南大学外文系，巴金则准备报考北京大学。由于身体检查时发现肺病，决定回上海养病。同时继续读书、翻译、撰文，探究社会革命和实现自由幸福的道路。

1927年1月，巴金自费去法国。他在法国写成处女作《灭亡》，并把作品寄给在上海开明书店工作的朋友周索非，准备印刷二三百册赠给亲朋好友，表明自己要与民众一道，为正义、公平奋斗不息。周索非收到文稿后并未付印，把它交给了当时最权威的文学刊物《小说月报》编者郑振铎。郑看了小说后决定发表，于是，《灭亡》从1929年1月起在《小说月报》连载，至4月载毕。这部作品引起读者和批评家的注意，被誉为“轰动文坛的佳作”和“1929年中国文坛仅有的收获”。巴金无意于当作家而写小说，但《灭亡》的发表却成为了他走向文学事业的起点。

《灭亡》写成后，巴金第一次署上一个新的笔名：巴金。他没有料到，这个新笔名就此伴随自己一生，以至取代了真名实姓。此后，有关“巴金”的来历有许多猜测。为这个笔名，他多次受到指责甚至批判。但他一直沉默不语。 1958年，巴金在《谈〈灭亡〉》这篇文章中，首次对这个笔名的来历作正式解释。他说：“巴”是得到同学巴恩波在项热投水自杀的消息深感痛苦而联想起来的；“金”则是朋友詹剑峰为帮他找一个容易记住的名字而取的，当时他正在翻译克鲁泡特金的《伦理学》，这本书的英译本就放在书桌上。

1928年底巴金回国，定居上海。他的愿望是用行动而不是文字来反抗黑暗的社会，然而，当时的中国社会难以为他提供反抗机会。他只好继续潜心于无政府主义理论的研究和宣传。他先后翻译了一些克鲁泡特金的名著，还编著了一本名为《从资本主义到安那其主义》的论著，有系统地阐释自己对无政府主义原理的认识和理解，试图澄清中国无政府主义理论的混乱。然而，这本书却悄然地消失了。同时期，他还写成了《房东太太》，以法国为背景描写人类的悲哀的九篇短篇小说和中篇小说《死去的太阳》。倒是这些作品至今还被人传阅和议论着。