魏晉南北朝的400年間，是一個分裂動盪的時期，戰爭頻繁，政權更迭，皇權衰落。另一方面，從東漢後期起，一些豪強大族的勢力迅速發展，到這一時期形成了一批高門望族。魏晉南北朝選官大多行九品中正制，中正官品評人物的標準單憑門第出身，出現了「上品無寒門，下品無世族」的現象，一些家族甚至可以累世為高官。世家大族在皇權衰落時，世襲壟斷各種特權，影響甚至制約了皇帝對重大軍政的最後決策。門閥勢力最盛的東晉時期有「王與馬，共天下」之說。而在動盪歲月裏，為了提高官僚組織的行政效率，同時也為了與世家大族的勢力抗衡，皇帝愈來愈依賴本來作為秘書性質的尚書、中書、侍中等官員，他們有很多出身寒門，導致大多出身於世家大族的「三公」權力不斷被侵蝕和分割，而尚書等官員所在的機構尚書省、中書省、門下省，慢慢變成了真正的宰相機構，形成了隋唐「三省制」的雛形。所以，魏晉南北朝的官制是秦漢「三公九卿制」向「三省六部制」發展的過渡時期。

「三省制」是指三省長官：即尚書令、中書令和侍中並為宰相的一種制度，在魏晉南北朝時期已經有了雛形。尚書原先是在宮中為皇帝收發文書的小官，皇帝有時也請他們幫助審閱文書。因為他們比宮外（或稱外廷）的丞相等官員接近皇帝，皇帝有甚麼事讓他們去辦比找宮外官員來得方便。久而久之，皇帝委託他們辦的事愈來愈多，機構也愈來愈龐大，到西晉時成了真正的宰相機構「尚書省」。侍中則本來是宮中負責內勤的侍從官員，在尚書被重用的過程中，由於事務繁冗，為了提高效率，皇帝就讓侍中幫助尚書省審閱上奏文書，逐漸形成了專門的機構「門下省」。曹魏時，為了分擔尚書省事務又設立了「中書省」，主要負責撰寫詔令。三省相繼出現，三省的長官都成為了真正的宰相，不過魏晉南北朝時期，各朝對三省倚賴程度不一，魏晉重尚書，南朝重中書，北朝重門下。不論哪一種官受重用，「三公」的影響都不斷被削弱，最後完全變成了虛銜。在幾百年的演變中，三省的職能也發生了分化，決策權逐漸轉移到中書和門下兩省，尚書省則保留了行政權。這種職能分化的結果到隋唐正式確立下來。另外，這一時期亦有丞相一職，一般權力都很大，如曹操與諸葛亮等，但那是特殊情況下造成的。

丞相是西漢前中期時候宰相的正式官號，西漢後期改丞相為「司徒」。東漢宰相為「三公」，多稱「司徒」、「司馬」、「司空」。魏晉南北朝時，「三公」的權力受侵蝕，尚書、中書、門下省漸漸成了宰相機構。但這一時期反而有丞相一職，既不屬於「三公」，也非三省官員。他們有兩種類型：（一）曹操式的權臣。他們控制皇帝，往往自立為丞相，有時皇帝害怕他們，主動授予他們丞相官號。這些丞相或他們的兒子，到後來經常廢掉皇帝自立。除曹操外，當過這類丞相（或稱相國）的還有西晉開國君主司馬昭、南朝開國的四個皇帝、北魏的高歡、隋文帝楊堅等。（二）諸葛亮式的大臣。他們受皇帝器重，皇帝將軍國大政委付給他們，君主有時反而不怎麼管事。這類丞相雖然權力大，但都兢兢業業，不會篡位，是真正的宰相。除諸葛亮外，還有吳國的顧雍、陸遜、十六國中前秦的王猛等。兩種類型的丞相，權勢都很大，但都是特殊時期的例子。

先秦時期盛行的世官制瓦解後，戰國時期與秦代在挑選人才方面主要靠事功，不以血統或出身為用人依據。到漢代則採用「察舉」和「徵辟制」，從民間挑選人才。郡守以上的高級官員、刺史，以及皇帝臨時委派的特使，會根據一些科目，如「賢良方正」、「孝廉」等，來考核下級官吏和平民，將表現好的向上推薦，這在當時叫「察舉」。對一些有名望的人，皇帝可以不經過察舉直接徵聘，高級官員也可以這種形式聘用一些僚屬，這在當時叫「徵辟」。漢代黃巾軍起義後，地方政府陷於癱瘓，察舉制難以維持。曹魏時經陳群建議，實行九品中正制。後來，官員等級定為九品也是由此形成。當時門閥勢力很強大，中正官本身就是世族中人，就像察舉、徵辟制時豪強大族子弟必然會成為察舉徵辟的對象一樣，這時的世族子弟也必然被列入高品，出身低微的士人只能列入低品，這就是諺語「上品無寒門，下品無世族」的由來。到了隋唐，才轉用更加公平、客觀的科舉選拔形式，取代了九品中正制。