「桂林」一名最早出現在秦代，據說因當地遍植玉桂樹而得名。桂林是一座古城。戰國時歸屬楚國。公元前214年，秦始皇統一嶺南，開鑿靈渠，溝通湘江和灕江，桂林從此便成為南通海域、北達中原的重鎮。

公元前221年，秦始皇滅了六國，統一北方大部分地區，之後，又派大將屠睢帶領五十萬人馬，分五路向嶺南進軍。嶺南多山，道路崎嶇，秦軍糧草供給不足，士兵挨餓，行動困難，終於停止前進。公元前219年，奉秦始皇之令，史祿帶領十萬人開鑿靈渠，使屬於長江水系的湘江和屬於珠江水系的灕江連接起來，對溝通南北交通和開發嶺南起了重要作用。這是中國古代偉大的水利工程，也是世界上最古老的運河之一。靈渠全長34公里，分南北兩渠。靈渠修通後，軍需物資可溯湘江而上，經靈渠入灕江，南下珠江。靈渠工程十分艱巨，沿途多山，但是管道設計很巧妙，充分利用地形之勢，把湘江的水引經崇山峻嶺，進入灕江。這項古老技術，今天還在使用。

不久，秦始皇統一了嶺南，設置了桂林、象郡、南海三郡。歷史上的桂林先後成為郡、州、府、縣的政府所在地。唐朝時，設置桂管經略使，統領桂、梧等十四州，桂林的城市格局初具規模。宋代之後，桂林成為廣西政治、經濟、文化的中心，號稱「西南會府」，連廣西也被簡稱為「桂」。