中國具有多種特色的地方民居，其中有「南皖南，北山西」之說，山西平遙古城的古民居建築數量多，而且保存完整，是濃厚的地方特色與漢族傳統的和諧結合。現時平遙城內的古宅多為清代或民國時期所建，也有部分是明代遺存。這些建築之所以能保存至今，是因為建築材料以磚石為主，加上大量運用錮窯式結構，份外穩固；其次，它們大都是晉商的宅院，主人既有經濟能力，自可負擔上乘而耐用的建材。傳統漢族民居依明確的中軸線而建，左右對稱，主次分明，平遙古宅也體現了這點。

平遙的民居建築，規模不一，類型多樣，但總的來說都具備「對外封閉、對內開敞」的特色，並以四合院為主。所謂四合院，是指由四面房屋圍成的院落，房屋的門窗都向內開，只有大門與外界相通，這是平遙居院內聚之處。說它們封閉，是因為院落四周多輔以全封閉式的院牆，部分牆上一級還有女兒牆，部分大院的房頂更布了城牆垛口、更樓或眺閣，恍如一座城堡式建築。四合院具有靈活的空間組織，為人們提供舒適的生活場所，空間序列和布局，嚴格依照傳統的禮教思想安排，大大促進了家庭向心的內聚力。形式多樣、建造講究的風水牆、風水樓、風水影壁等，都是平遙傳統的四合院的建築附加物，多數建在屋頂上。目的是為了風水好，祈求發家致富，子孫興旺，因此這種建築附加物的位置必須取中或高高在上。

北京的四合院都呈正方形，只有山西、陝西、甘肅、河南一帶流行南北窄長的院落，這跟地理原因有莫大關係。山西位處黃土高原，風沙較大，兩廂向院內靠近，可遮擋部分的正房，避免風沙正面吹襲。此外，山西耕地少，狹長的院落大大節省了用地。

平遙住宅的四合院形式，規模不一，但基本布局大體一樣，主要是由宅門、倒座、院落、廂房、正房等幾部分組成。規模較大的院落，從高空俯瞰，或為「日」字型二進院，或為「目」字型三進院，規模再大的宅院，還包括左中右三路縱院並列。幾套院落沿中軸左右排開，主次分明，院落之間用裝飾華麗的垂花門甚至過廳作為分隔，有的甚至在院落一側或後面建有花園。

平遙民居在四合院的通常佈局形式基礎上，又根據不同的功能要求，出現了其他幾種形式。如沿大街而建的店舖商號多是前店後寢，四合院的倒座作為店舖，第一進院作為經營管理和接待，二進院、三進院作為居住及貯藏。這些宅院前是商業街，而後門接通巷道。有的大宅院在中軸線中端增設過廳，這就是會客、禮儀活動的地方。有大戶將幾個三進院或多進院橫向拼聯，組成一個大的院落。一些小戶在用地和經濟條件受到限制時，成一進院或二進院的形式。

平遙民居內有各種精美的木雕、磚雕、石雕和彩塑等飾物，這些裝修工藝充分體現出當地工匠深厚的藝術素養和高超的技術水平，與宅外壁立的高牆，形成鮮明對比，予人外雄內秀的觀感。大門簷下匾額上的題字往往是書法精美，造工精細，內容頗具文采，常有「凝秀」、「錫嘏」、「樹德」、「敦厚」、「耕讀」、「霞蔚」等。這些石雕、磚雕、木雕的文字反映了傳統道德、倫理以及人們的生活信念和價值取向，潛移默化地傳播了傳統教化思想。民居簷下、雀替、垂蓮柱等處常有木雕的圖案，在正脊、影壁、窗台、樓梯欄板等處常有石雕、磚雕的圖案，其題材常為人們喜聞樂見的內容，如吉祥圖案或故事傳說。