東漢滅亡後，關中等中國北方地區，長期被胡人佔領。期間先後有五個胡人政權，在長安建都。魏晉南北朝時，長安經常被戰亂破壞，興革不多，只有後趙政權曾在公元342年，修建長安宮殿。另外，長安在前秦大臣王猛執政期間，以及北周統治時期，都曾一度呈現繁榮的景象。公元582年，隋文帝下令在漢長安東南20公里的龍首原南面，另建新的長安城，原因是漢長安城已有七百多年歷史，期間屢遭破壞，已不堪居住；城的規模狹小，不易擴展；城內地下水已變鹹鹵，不宜飲用；渭水南移，對漢長安城構成威脅。

隋文帝任命著名建築師宇文愷，出任新都城的設計師。工程從公元586年6月動工，動用民工數十萬，前後歷時九個月，至次年2月建成。宇文愷充分利用龍首原北高南低的地形，將宮城建於龍首原的北部，使皇宮有居高臨下之勢。這不但使宮城易於防守，同時又突出皇帝至高無上的地位，體現了儒家思想中「像天設都」的神權觀念。

隋唐長安城主要分為宮城、皇城和外郭城三大部分。宮城是隋唐兩代皇帝、嬪妃和皇太子的居所，也是皇帝處理朝政的地方。宮城包括隋代修建的「太極宮」，以及唐代修建的「大明宮」和「興慶宮」，合稱為「三內」或「三大內」。宮城是皇帝舉行大型典禮、上朝聽政、處理軍國大事、會見外國賓客和娛樂休息的地方。每個宮城之內，宮殿多則十餘所，少的也有近十所。此外，宮城內還有水池、球場、亭台、館閣等建築物。隋唐宮城的主要宮殿，一般都位於宮城的中軸線上，而其他別殿和亭台樓閣，則分佈在左右兩側。這種突出中軸線的宮殿群建築，對後來各朝的宮殿建築產生重大影響，成為中國古代宮殿建築的獨有特色。

皇城是中央官署衙門的所在地，位於宮城南面。外郭城內有很多坊里，城中的住宅、商業貿易區和寺院道觀等，都分佈其中。外郭城的面積，幾乎佔隋唐長安城的四分之三。隋唐長安城的住宅區面積，遠比漢長安城的寬廣，而且坊里排列整齊劃一，顯示當時城市設計水平的進步。