何時開始使用墨？迄今仍是一個待解之謎。從史前遺跡可以得知，人類早在新石器時代就開始使用顏料繪製圖案。墨的前身可能取自天然礦物，也可能取自燃燒的木炭等。現有的證據表明人工墨的出現不晚於商代後期，科技考古工作者從出土的殷墟甲骨片殘留的黑色痕跡作顯微化學分析，得知當時人們已經使用一種與後世墨相似的碳料子混合物作為黑色書寫顏料，可能取自植物焚燒後的煙垢，與膠性物質混合製成。目前所見最早的人工墨實物是1975年湖北雲夢睡虎地戰國至秦初墓葬中出土的一塊純黑色柱狀墨，同時出土的還有石硯和石質研杵，為一組書寫用具，表明戰國後期已使用固體墨塊，與《莊子》中「舐筆和墨」的記載相吻合。

東漢時已經有捏製而成的圓柱形墨塊，可直接在硯石上研磨。1974年寧夏固原縣東漢墓葬中出土的一塊狀墨，高6.2厘米，直徑3厘米，現存於寧夏博物館。從松塔狀的清晰外表花紋看，該墨應是用墨模印製之物。當時陝西隃糜所產墨品質優良，用作賞賜大臣之物，以至於後來以「隃糜」代指墨。魏晉時期製墨技藝已經到了比較成熟階段，當時還出現了一些製墨名家，如魏明帝時的韋誕，所製之墨與左伯紙、張芝筆齊名。

兩晉至南北朝時期社會經濟文化發展，特別受佛教興起影響，墨的使用進一步普及，製墨技藝得到進一步提高。北魏農學家賈思勰在《齊民要術》中詳細記載了製墨工藝及當時製墨技藝的多方面資訊，包括煙的品質、膠煙比例、入墨藥材、生產時節等方面的資料等等。隋唐時期墨的產地進一步擴大，從陝西隃糜、扶風、延州擴展到河北易水和山西潞州等地，產量也大幅增加。煉煙技術更加精細，出現了「遠煙墨」之類的精品，同時，流行在墨模上雕刻銘文，表明刻模技藝發展到嶄新階段。

唐代製墨技藝和造紙、製筆技藝的全面發展。唐代末年，易水名工奚超、奚廷珪父子攜家眷來到歙州，以造墨營生，掀開了歙州製墨史上嶄新一頁。後來奚氏製墨得到南唐後主李煜高度讚賞，奚氏一家受賜「國姓」，李廷珪父子製墨不僅名重一時，而且流傳後世，相關記載不絕於史料。在李廷珪墨的影響下，南唐時全國製墨中心已經南移至歙州一帶。這裏的製墨業人才輩出，像李氏家庭中有廷珪之弟廷寬，廷寛之子承晏，承晏之子文用，皆能世其業。

明清徽墨製作業得以迅速恢復。明代徽墨在生產、經營方式上也呈現出新的特點。清康熙至乾隆時期，由於皇帝酷愛書畫和文房四寶，製墨業十分發達。清朝徽墨形成了歙縣、績溪、婺源三大流派，和以曹素功、汪節庵、汪近聖、胡開文為首的「清四大家」。