史籍记载中国最早发现简牍，是在西汉武帝末年，鲁恭王刘余在广建其宫殿时，破坏了孔子旧宅，并从孔宅的墙壁里发现数十篇写在简牍上的先秦典籍，皆以昔日春秋战国时期的文字书写。由于这批简牍使用的文字在汉代已经不流行，所以汉人称为“古文字”。据《汉书‧艺文志》记载，这批出土书简每条记20至25字不等。孔子后人安国知道后，开始整理及研究这批简牍，最后整理出《尚书》、《礼记》、《论语》、《孝经》等数十种古代书籍，并把出土的《尚书》和汉代流行的《尚书》版本对照，发现有七百多字不同，脱字数十个，出土《尚书》比汉代《尚书》多出十六篇，因此引起经学史上极具争论的“古今文经之争”。鲁恭王刘余可说是历史记录上，第一个发现古代简牍的人。孔安国则是中国第一个整理简牍的学者。

另一次重要发现是在西晋武帝太康二年（公元281年）著名的“汲冢书”出土。《晋书‧束皙传》所载，汲郡有一个名字叫不准的盗墓贼，盗窃了战国时代魏襄王（或称安釐王）之墓，墓中出土许多带字的竹简，据说除用作照明烧掉若干外，保存下来的竹简还有数十车之多。这批竹简后来被官府没收，由当时多名学者如：束皙、荀勗、和峤、傅赞以及秘书丞卫恒等人整理。经过长时期的研究，他们整理出古书75篇，共16种之多，其中《（竹书）纪年》13篇、《易经》2篇、《国语》3篇及大量春秋战国时期的典籍。这批书因出土于汲郡墓中，所以后人称为《汲冢书》。据《晋书》记载这批简牍是用不染色的素丝编联起来。简长合古尺2尺4寸（约现今35厘米），每简写字约40字。一次墓中出土如此多的古书，可以说是中国简牍出土史上的重要事件。可惜，由于当时人对简牍的价值尚未充分认识，也没有刻意特别保存，所以不但简牍实物未能保留下来，甚至出土那么多的古书，今天也多数无法得见，只能读到篇名。

至宋代，有两次发现古代简牍记载，一是北宋徽宗崇宁元年（1102年）。据《邵氏闻见录》卷二十七所载，在天都（今甘肃固原西北）出土装有“木简札”的瓦器。木简形式上广下狭，约长一尺，简上文字为草书，还写有红色的字，标明物品数量，简上有章和年号，章和是东汉章帝年号，由此可证明这批简牍是东汉遗物。宋代另一次出土简牍亦是在徽宗的政和年间，这是古代出土简牍中唯一留下来的一道檄书，内容如下（标点符号为后加）：

        永初二年六月丁未朔二十日丙寅，得车骑将军莫府文书，上郡属国都尉中二千石守丞廷义县令三水，十月丁未到府受印绶，发夫讨叛羌，急急如律令。

永初为东汉安帝年号，永初二年即公元108年，可见这是东汉的讨羌檄文。出土前该简装在陶器中，由于时日久远，编绳腐烂，其他简册无法复原，仅这篇檄文尚可看到较为完整的句子。宋代正是金石学盛行的时代，这篇檄文出土立刻引起宋代学者重视。南宋黄伯思在《东观余论》书中对此檄文作考证和解释，可惜宋代后该简牍失存。这道檄文如参照《后汉书‧邓骘传》的记载，可以明白事情的原本，其云“延平元年，拜骘车骑将军……永初元年，封骘上蔡侯……其夏，凉部叛羌摇荡西州，朝廷忧之，于是诏骘将左右羽林、北军五校士及诸部兵击之。”由此可见，永初元年西羌叛乱，朝廷命车骑将军邓骘率军剿灭。这道檄书就是次年初即永初二年由邓骘发出，同年六月传至西州各郡。古代出土的简牍大多数亡佚，像这道檄文能保存下来，显然异常珍贵。它不仅使我们了解车骑将军西往讨羌，檄书下报等情况，而且还能校正史籍之误。

古代出土的简牍极为有限，即在金石学发展蓬勃的宋代，出土的简牍也仅仅停留在考证年代和考释文字方面，其价值还未被发现，因此可以说，真正有计划的发掘和研究简牍，则是从近代开始。