中国古代的官是随着国家的产生而形成，在国家产生以前的原始社会是没有官的。原始社会的社会组织是氏族和部落，以及更高级的部落联盟，在这些组织中，有一些管理公共事务的人，但他们不能称为官，因为他们是由民众选举产生，为民众服务，是民众的仆人。国家产生以后，管理国家事务的人在管理这些事务的同时，也对民众有了特权，成了民众的主人，而民众则没有选举他们的权力。这些管理者于是变成了官。

中国从夏代开始有官，战国以前是官制的萌芽时期。这一时期实行“宗法制”基础上的“分封制”，国君将领土分封给自己家族成员和功臣，受封者继续分封。层层分封的结果，形成一个个诸侯国。只有王、诸侯等贵族的家族成员才有资格担任各级官职，而官职的高低，也依血缘关系的亲近来确定。贵族世代做官，形成“世官制”。

在商、周时代，由商王和周王（又称周天子）直接控制的地区称王畿，王畿内的官叫内服官，以王为首。王以下商代有尹，西周有师、保，他们辅佐商王或周天子处理国家政务，类似于后代的宰相。商汤时的伊尹、周武王时的姜尚（即姜太公）、周成王时的周公都是有名的辅弼大臣。尹或师、保以下有各种掌管具体事务的官，如：“司徒”掌民事，“司马”主军事，“司空”管理手工业制作等。商代负责占卜、祭祀等事情的“巫”，地位也很显赫。王畿以外的诸侯，其国内的官叫外服官，外服官的设置仿内服官。各个外服诸侯对商王或周天子有纳贡、朝觐、协助征战以及帮助守边等义务。周幽王为博取宠爱的妃子褒姒欢笑，利用诸侯的义务来戏弄他们，最终导致了西周灭亡。

商朝人传说是帝喾之子契的后裔，因契助大禹治水有功，被舜封为商侯。到成汤时候，在伊尹辅佐下，打败了夏桀，建立商朝。伊尹可说是中国古代著名宰相中最早的一位。他姓伊，名挚，“尹”是他当的官。伊尹本来是商王汤的妃子有莘氏的陪嫁奴隶，因为做得一手好菜而受到汤的赏识，被任命为尹，从此一直辅佐汤处理日常国事。汤死后，伊尹继续辅佐先后继位的外丙和中壬，中壬死后，伊尹立汤的长孙太甲为王。太甲即位后，不遵守法度，暴虐无道，伊尹恐怕他会重蹈夏亡国之主桀的覆辙，就用计将他放逐到郊外，自己代王摄政。三年后，太甲终知错悔改，伊尹便迎太甲回宫，还政于他。此后太甲执政了30年。据说伊尹活了100岁，直到太甲的儿子沃丁继位才去世，沃丁用天子的礼节将他下葬。伊尹德高望重，辅佐有方，为商王朝的建立和巩固作出了杰出贡献，甲骨文中就有不少祭祀他的记载。伊尹的事迹，说明商代“尹”的地位是何等崇高，且反映出贤臣对治理国家有重要帮助。

西周内服百官中，以“师”和“保”的地位最高，其中西周初年有两位“师”特别著名。一位是姜尚，号子牙，民间称他为姜太公。姜尚直到七十多岁，才遇上赏识他的周文王姬昌。从此，姜尚辅佐文王和他的儿子武王，最终灭了商。武王任他为师，尊称“师尚父”。分封时，姜尚首先受封，成为齐国的始祖。另一位是武王的弟弟周公，姓姬，名旦。武王儿子成王继位后，任周公为“师”。当时成王年岁尚小，由周公摄政。周公为巩固统治秩序，设计了一套礼法制度，后来儒家尊他为圣人。周公摄政初期，他的弟弟管公（管叔）和蔡公（蔡叔），因猜疑周公要夺权，就联络商人的后裔以及东方其他一些诸侯发动叛乱。周公和当时为“保”的召公花了两年时间平定叛乱（是为周公东征），使西周政权度过了一次危机。周公摄政七年后，成王长大，周公就把国家大权交还给成王。

春秋时，王室衰微，大的诸侯国纷纷争霸。各国于国君之下普遍设有一名总领全国大政的官，名称不同，泛称“执政”，相当于后世的宰相。春秋各国在国境上都设有管理关卡的官，管理十分严密。战国时，各国中央都设置辅相和将军，由他们分别统率文武百官。相的地位比将高，所以当出身低微的蔺相如拜为赵国之相后，将军廉颇很不服气。将相之下，有“御史”负责记事、“内史”管财务、“司寇”管司法等。地方上普遍实行中央集权的“郡县制”，即中央与地方形成直属的行政关系，其中郡的地位比县高。郡的长官称郡守或太守，县的长官叫县令。

与春秋时不同，战国君主的权力大为加强，中央和地方主要官员都由国君直接任免，而且官员来源不论出身高低，只要有能力，对国君忠诚，都有可能受到重用，但他们不能世袭，所以对君主的依附关系很强。官员的职务经常变动，官员的报酬也不再是分封土地而是俸禄，这样有利于君主随时任免和调动。地方官每年要向中央呈报自己的业绩，称为“上计”，表现出色的可以升官，表现差的则要问罪，各级官员都要接受上级机构的考核。