三清山區域地層自元古宙至第四紀地層均有不同程度的出露，包括有中新元古宙的張村群、河上鎮群、南華系、震旦系、古生界、中生界等。中新元古宙的張村群，分布於三清山北部地帶，為洋盆島弧型蛇綠混雜岩，岩石組合有淺變質細碧岩、石英角斑岩、火山凝灰質、泥砂質濁流沉積，混雜大量蛇綠岩塊體。新元古界主要分布於三清山的北部地方，其下部為河上鎮群，以淺變質的砂岩、板岩為主夾裂谷型雙峰式火山岩（玄武岩、流紋岩），不整合於張村群之上；中部為南華系海相碎屑岩、冰磧泥礫岩夾灰岩；上部為震旦系矽質岩、碳酸鹽岩。古生界主要分布於三清山山體周圍及周邊地區，寒武系以碳酸鹽岩為主夾泥、矽質葉岩，底部為黑色葉岩；奧陶系以葉岩為主夾瘤狀灰岩，產豐富的筆石動物化石；志留系為泥砂質碎屑岩；泥盆系為砂礫岩、石英砂岩、粉砂質葉岩，往往不整合於前泥盆系之上；石炭系與二疊系為碳酸鹽岩。中生界以侏羅系和白堊系為主。

三疊系局部分布，中下部為碳酸鹽岩與葉岩、上部為含煤碎屑岩且往往不整合於早期地層之上；侏羅系出露於三清山周邊的中生代盆地的邊緣地帶，下部為淺色砂岩、中部為雜色砂葉岩並產有矽化木化石、上部為陸相火山雜岩；白堊系分布於三清山周邊的中生代陸相盆地內，以紅色及雜色碎屑岩系為主，下部為陸相火山碎屑岩，上部產有恐龍蛋及恐龍骨骼化石。新生界僅發育第四系，且分布局限，主要分布於溝谷凹地和平地，以沖洪積黏土、亞黏土、砂礫石層或碎石黏土層為主。

三清山的第一次大海浸發生於14億年前的中元古宙。那時三清山地區的地殼運動正處於「地槽」沉降階段，海水浸沒達4億年之久，沉積數千米厚的雙橋山群的複理式海相碎屑岩，並夾雜有海底火山噴發物。在「晉寧運動」後，地殼開始逐漸回返上升，出水為陸，三清山地區進入相對穩定的「地台」階段。10億年前，三清山地區成為古南華洋中的一個島弧，9至8.5億年前後，洋盆消失、揚子古板塊與華夏古板塊碰撞，三清山地區恰處於古板塊結合帶。中生代以來，陸內A型俯衝與陸內伸展奠定了地質構造和地理格架，為三清山花崗岩地質地貌的形成、生物的繁衍以及人類的發展提供了優越的地質環境。約9億年前後，揚子古板塊與華夏古板塊碰撞對接，並成為羅迪尼亞超大陸的組成部分，留下了珍貴的古洋殼殘跡即蛇綠混雜岩帶（9.68億年）和蘭閃石片岩（8.66億年），是古板塊對接和晉寧造山運動的重要見證。

8.3至8億年前進入裂谷期，羅迪尼亞超大陸裂解，三清山位於揚子大陸板塊與華南裂谷海盆之間的過渡帶，形成了磨拉石和海洋複理石建造，與地殼裂谷作用半生的火山活動，產生了火山岩與熔岩。南華紀早期，區內處於溪海──陸表海的沉積環境中，以碎屑建造沉積為主；隨之地球出現最嚴重的冰川作用──克里奧格尼冰川事件，稱之為「雪球事件」出現，留下了古冰川活動的遺跡──南沱組冰磧岩。震旦紀，陸殼基本固結，氣候轉暖，冰雪消融，到了震旦紀末期，發生第二次大海浸，海水浸沒達1.6億年之久，一直延續到奧陶紀末期，沉積四千多米厚的淺海相砂葉岩和碳酸鹽岩類，並含有三葉蟲、筆石和海綿等海相古生物化石，沉積了一套淺海相泥矽質和碳酸鹽建造。經奧陶紀末期的「加里東第一幕」造山運動，三清山從此完全脫離海水環境，不再接受沉積。在距今4.4億年前的志留紀早期，雖發生第三次大海浸，但海水僅到達三清山東南角的邊緣部分。2億多年前，三清山結束了長期的海洋歷史，開始進入內陸發展的新階段。1.8億年前，侏羅紀晚期與白堊紀，三清山區域內發生異常強烈的造山運動，即燕山期運動，並伴隨有大規模的酸性岩漿浸入活動，從而奠定三清山構景的地質基礎。中生代是三清山花崗岩成岩、成山的重要時期，也是花崗岩地質、花崗岩地貌、花崗岩生態的奠基時期。此後，又通過新生代的變化，才造就了現今的奇特的花崗岩景觀和獨特的生態系統。

三疊世印支運動之後，三清山及其相鄰地區為陸內地勢相對較低的複式向斜。此後，才逐漸形成今日所見的盆嶺地貌格局。在中、晚侏羅世──早白堊世盆嶺雛形期，由於歐亞板塊與古太平洋板塊相互作用，區內發生了強烈的燕山期陸內造山動動，隨着贛東北深斷裂的陸內俯衝作用，形成了北東向三清花崗岩基，懷玉山脈開始呈擠壓型「坳中隆」式低緩隆起，並逐漸發生弱剝蝕，兩側出現陸相盆地。當時，包括三清山在內的古歐亞大陸與古北美古大陸曾是相連的。

在晚白堊世盆嶺伸展成型期，進入喜馬拉雅期，地殼於造山後，強烈伸展，發生大規模斷塊作用。懷玉山脈急劇隆升，強烈剝蝕，花崗岩體暴露地表，估算剝蝕厚度約四千至五千米。山脈兩側作不均衡斷陷，形成紅色碎屑岩斷陷盆地，北側盆地規模較小，南側信江斷陷盆地規模大，堆積紅色碎屑岩厚度二千至三千米。山體與盆地存在巨大反差，是懷玉山脈主要的形成期，歐亞古大陸與北美古大陸開始分離。在古近紀至新近紀盆嶺緩變期，為地殼強烈伸展後的相對休眠期，山體剝蝕微弱，盆地萎縮，缺失沉積。在第四紀盆嶺改造期，地殼作波浪狀緩慢抬升，在懷玉山脈上部和近山麓地帶的三清湖喀期特峰林都保留有三級夷平面，信江河谷形成三級階地。從懷玉山山脈、山麓至信江盆地，地殼隆升幅度依次降低，同時沿部分斷裂，發生差異升降作用。三清山受周邊所圍繞的三條正斷裂控制，再次緩慢抬升，在懷玉山脈隆起的背景下，形成「隆上隆」，成為懷玉山山脈的最高峰，也是三清山峰林景觀的造景時期。

三清山以無與倫比的花崗岩地貌而著稱。三清山花崗岩地貌具有自身獨特的特性，以形態量計可分為強烈中切割中山地貌區、強烈淺切割低山地貌區、微弱淺切割高丘地貌區、微弱淺切割低丘地貌區；而如果以花崗岩地貌景觀又可分為：峰巒、峰牆、峰叢、石林、峰柱、石錐、峽谷、岩壁和造型石景等類型。這些形態各異的花崗岩奇峰，一尊尊，一座座，栩栩如生，彷彿每一座都在向世人講述那悠久的歷史和神奇的故事，讓人久佇神思，不願離去。另一種景致秀水幽谷則是由花崗岩內外地質營力作用的結果。這些幽深的深谷碧潭，多出現在地質構造斷裂、節理的交匯部位。三清宮前的涵星池、清華池、清輝池，由於四周的景致天水一色，宛若天空中絢爛的彩霞，又被稱為「流霞三池」。

三清山雨量豐沛，水量充足，逕流發育，瀑布極多。主要的瀑布有8條，海拔標高一般為500至1000米，主要分布於山體中下部，落差一般10至30米，寬數米至數十米。三清山碧潭多與溪流、瀑布相連，澄清碧綠。碧潭面積多數十平方米，深達數米。碧潭的形成是內、外地質營力作用的結果，多出現在地質構造斷裂、節理的交匯部位，由地表流水作用不斷侵蝕沖刷而形成，如石鼓潭、玉女潭、五色碧玉潭等。在三清宮附近，流霞三池更是風景優美的風水寶地，使遊人為其駐足。