1923年4月，為追求新生活，未滿19歲的巴金同他的三哥李堯林一道，去神往已久的新文化運動中心上海。到達上海不久，兄弟倆一同考入上海南洋中學。年底，考進南京著名的東南大學附屬中學。巴金除學習高中課程外，課餘繼續研究無政府主義學說和社會革命理論。1925年夏，巴金兄弟高中畢業，堯林報考蘇州的東南大學外文系，巴金則準備報考北京大學。由於身體檢查時發現肺病，決定回上海養病。同時繼續讀書、翻譯、撰文，探究社會革命和實現自由幸福的道路。

1927年1月，巴金自費去法國。他在法國寫成處女作《滅亡》，並把作品寄給在上海開明書店工作的朋友周索非，準備印刷二三百冊贈給親朋好友，表明自己要與民眾一道，為正義、公平奮鬥不息。周索非收到文稿後並未付印，把它交給了當時最權威的文學刊物《小說月報》編者鄭振鐸。鄭看了小說後決定發表，於是，《滅亡》從1929年1月起在《小說月報》連載，至4月載畢。這部作品引起讀者和批評家的注意，被譽為「轟動文壇的佳作」和「1929年中國文壇僅有的收穫」。巴金無意於當作家而寫小說，但《滅亡》的發表卻成為了他走向文學事業的起點。

《滅亡》寫成後，巴金第一次署上一個新的筆名：巴金。他沒有料到，這個新筆名就此伴隨自己一生，以至取代了真名實姓。此後，有關「巴金」的來歷有許多猜測。為這個筆名，他多次受到指責甚至批判。但他一直沉默不語。1958年，巴金在《談〈滅亡〉》這篇文章中，首次對這個筆名的來歷作正式解釋。他說：「巴」是得到同學巴恩波在項熱投水自殺的消息深感痛苦而聯想起來的；「金」則是朋友詹劍峰為幫他找一個容易記住的名字而取的，當時他正在翻譯克魯泡特金的《倫理學》，這本書的英譯本就放在書桌上。

1928年底巴金回國，定居上海。他的願望是用行動而不是文字來反抗黑暗的社會，然而，當時的中國社會難以為他提供反抗機會。他只好繼續潛心於無政府主義理論的研究和宣傳。他先後翻譯了一些克魯泡特金的名著，還編著了一本名為《從資本主義到安那其主義》的論著，有系統地闡釋自己對無政府主義原理的認識和理解，試圖澄清中國無政府主義理論的混亂。然而，這本書卻悄然地消失了。同時期，他還寫成了《房東太太》，以法國為背景描寫人類的悲哀的九篇短篇小說和中篇小說《死去的太陽》。倒是這些作品至今還被人傳閱和議論着。