中國古代的官是隨着國家的產生而形成，在國家產生以前的原始社會是沒有官的。原始社會的社會組織是氏族和部落，以及更高級的部落聯盟，在這些組織中，有一些管理公共事務的人，但他們不能稱為官，因為他們是由民眾選舉產生，為民眾服務，是民眾的僕人。國家產生以後，管理國家事務的人在管理這些事務的同時，也對民眾有了特權，成了民眾的主人，而民眾則沒有選舉他們的權力。這些管理者於是變成了官。

中國從夏代開始有官，戰國以前是官制的萌芽時期。這一時期實行「宗法制」基礎上的「分封制」，國君將領土分封給自己家族成員和功臣，受封者繼續分封。層層分封的結果，形成一個個諸侯國。只有王、諸侯等貴族的家族成員才有資格擔任各級官職，而官職的高低，也依血緣關係的親近來確定。貴族世代做官，形成「世官制」。

在商、周時代，由商王和周王（又稱周天子）直接控制的地區稱王畿，王畿內的官叫內服官，以王為首。王以下商代有尹，西周有師、保，他們輔佐商王或周天子處理國家政務，類似於後代的宰相。商湯時的伊尹、周武王時的姜尚（即姜太公）、周成王時的周公都是有名的輔弼大臣。尹或師、保以下有各種掌管具體事務的官，如：「司徒」掌民事，「司馬」主軍事，「司空」管理手工業製作等。商代負責占卜、祭祀等事情的「巫」，地位也很顯赫。王畿以外的諸侯，其國內的官叫外服官，外服官的設置仿內服官。各個外服諸侯對商王或周天子有納貢、朝覲、協助征戰以及幫助守邊等義務。周幽王為博取寵愛的妃子褒姒歡笑，利用諸侯的義務來戲弄他們，最終導致了西周滅亡。

商朝人傳說是帝嚳之子契的後裔，因契助大禹治水有功，被舜封為商侯。到成湯時候，在伊尹輔佐下，打敗了夏桀，建立商朝。伊尹可說是中國古代著名宰相中最早的一位。他姓伊，名摯，「尹」是他當的官。伊尹本來是商王湯的妃子有莘氏的陪嫁奴隸，因為做得一手好菜而受到湯的賞識，被任命為尹，從此一直輔佐湯處理日常國事。湯死後，伊尹繼續輔佐先後繼位的外丙和中壬，中壬死後，伊尹立湯的長孫太甲為王。太甲即位後，不遵守法度，暴虐無道，伊尹恐怕他會重蹈夏亡國之主桀的覆轍，就用計將他放逐到郊外，自己代王攝政。三年後，太甲終知錯悔改，伊尹便迎太甲回宮，還政於他。此後太甲執政了30年。據說伊尹活了100歲，直到太甲的兒子沃丁繼位才去世，沃丁用天子的禮節將他下葬。伊尹德高望重，輔佐有方，為商王朝的建立和鞏固作出了傑出貢獻，甲骨文中就有不少祭祀他的記載。伊尹的事跡，說明商代「尹」的地位是何等崇高，且反映出賢臣對治理國家有重要幫助。

西周內服百官中，以「師」和「保」的地位最高，其中西周初年有兩位「師」特別著名。一位是姜尚，號子牙，民間稱他為姜太公。姜尚直到七十多歲，才遇上賞識他的周文王姬昌。從此，姜尚輔佐文王和他的兒子武王，最終滅了商。武王任他為師，尊稱「師尚父」。分封時，姜尚首先受封，成為齊國的始祖。另一位是武王的弟弟周公，姓姬，名旦。武王兒子成王繼位後，任周公為「師」。當時成王年歲尚小，由周公攝政。周公為鞏固統治秩序，設計了一套禮法制度，後來儒家尊他為聖人。周公攝政初期，他的弟弟管公（管叔）和蔡公（蔡叔），因猜疑周公要奪權，就聯絡商人的後裔以及東方其他一些諸侯發動叛亂。周公和當時為「保」的召公花了兩年時間平定叛亂（是為周公東征），使西周政權度過了一次危機。周公攝政七年後，成王長大，周公就把國家大權交還給成王。

春秋時，王室衰微，大的諸侯國紛紛爭霸。各國於國君之下普遍設有一名總領全國大政的官，名稱不同，泛稱「執政」，相當於後世的宰相。春秋各國在國境上都設有管理關卡的官，管理十分嚴密。戰國時，各國中央都設置輔相和將軍，由他們分別統率文武百官。相的地位比將高，所以當出身低微的藺相如拜為趙國之相後，將軍廉頗很不服氣。將相之下，有「御史」負責記事、「內史」管財務、「司寇」管司法等。地方上普遍實行中央集權的「郡縣制」，即中央與地方形成直屬的行政關係，其中郡的地位比縣高。郡的長官稱郡守或太守，縣的長官叫縣令。

與春秋時不同，戰國君主的權力大為加強，中央和地方主要官員都由國君直接任免，而且官員來源不論出身高低，只要有能力，對國君忠誠，都有可能受到重用，但他們不能世襲，所以對君主的依附關係很強。官員的職務經常變動，官員的報酬也不再是分封土地而是俸祿，這樣有利於君主隨時任免和調動。地方官每年要向中央呈報自己的業績，稱為「上計」，表現出色的可以升官，表現差的則要問罪，各級官員都要接受上級機構的考核。