史籍記載中國最早發現簡牘，是在西漢武帝末年，魯恭王劉餘在廣建其宮殿時，破壞了孔子舊宅，並從孔宅的牆壁裏發現數十篇寫在簡牘上的先秦典籍，皆以昔日春秋戰國時期的文字書寫。由於這批簡牘使用的文字在漢代已經不流行，所以漢人稱為「古文字」。據《漢書‧藝文志》記載，這批出土書簡每條記20至25字不等。孔子後人安國知道後，開始整理及研究這批簡牘，最後整理出《尚書》、《禮記》、《論語》、《孝經》等數十種古代書籍，並把出土的《尚書》和漢代流行的《尚書》版本對照，發現有七百多字不同，脫字數十個，出土《尚書》比漢代《尚書》多出十六篇，因此引起經學史上極具爭論的「古今文經之爭」。魯恭王劉餘可說是歷史記錄上，第一個發現古代簡牘的人。孔安國則是中國第一個整理簡牘的學者。

另一次重要發現是在西晉武帝太康二年（公元281年）著名的「汲冢書」出土。《晉書‧束皙傳》所載，汲郡有一個名字叫不准的盜墓賊，盜竊了戰國時代魏襄王（或稱安釐王）之墓，墓中出土許多帶字的竹簡，據說除用作照明燒掉若干外，保存下來的竹簡還有數十車之多。這批竹簡後來被官府沒收，由當時多名學者如：束皙、荀勗、和嶠、傅贊以及秘書丞衞恒等人整理。經過長時期的研究，他們整理出古書75篇，共16種之多，其中《（竹書）紀年》13篇、《易經》2篇、《國語》3篇及大量春秋戰國時期的典籍。這批書因出土於汲郡墓中，所以後人稱為《汲冢書》。據《晉書》記載這批簡牘是用不染色的素絲編聯起來。簡長合古尺2尺4寸（約現今35厘米），每簡寫字約40字。一次墓中出土如此多的古書，可以說是中國簡牘出土史上的重要事件。可惜，由於當時人對簡牘的價值尚未充分認識，也沒有刻意特別保存，所以不但簡牘實物未能保留下來，甚至出土那麼多的古書，今天也多數無法得見，只能讀到篇名。

至宋代，有兩次發現古代簡牘記載，一是北宋徽宗崇寧元年（1102年）。據《邵氏聞見錄》卷二十七所載，在天都（今甘肅固原西北）出土裝有「木簡札」的瓦器。木簡形式上廣下狹，約長一尺，簡上文字為草書，還寫有紅色的字，標明物品數量，簡上有章和年號，章和是東漢章帝年號，由此可證明這批簡牘是東漢遺物。宋代另一次出土簡牘亦是在徽宗的政和年間，這是古代出土簡牘中唯一留下來的一道檄書，內容如下（標點符號為後加）：

        永初二年六月丁未朔二十日丙寅，得車騎將軍莫府文書，上郡屬國都尉中二千石守丞廷義縣令三水，十月丁未到府受印綬，發夫討叛羌，急急如律令。

永初為東漢安帝年號，永初二年即公元108年，可見這是東漢的討羌檄文。出土前該簡裝在陶器中，由於時日久遠，編繩腐爛，其他簡冊無法復原，僅這篇檄文尚可看到較為完整的句子。宋代正是金石學盛行的時代，這篇檄文出土立刻引起宋代學者重視。南宋黃伯思在《東觀餘論》書中對此檄文作考證和解釋，可惜宋代後該簡牘失存。這道檄文如參照《後漢書‧鄧騭傳》的記載，可以明白事情的原本，其云「延平元年，拜騭車騎將軍……永初元年，封騭上蔡侯……其夏，涼部叛羌搖蕩西州，朝廷憂之，於是詔騭將左右羽林、北軍五校士及諸部兵擊之。」由此可見，永初元年西羌叛亂，朝廷命車騎將軍鄧騭率軍剿滅。這道檄書就是次年初即永初二年由鄧騭發出，同年六月傳至西州各郡。古代出土的簡牘大多數亡佚，像這道檄文能保存下來，顯然異常珍貴。它不僅使我們了解車騎將軍西往討羌，檄書下報等情況，而且還能校正史籍之誤。

古代出土的簡牘極為有限，即在金石學發展蓬勃的宋代，出土的簡牘也僅僅停留在考證年代和考釋文字方面，其價值還未被發現，因此可以說，真正有計劃的發掘和研究簡牘，則是從近代開始。