何时开始使用墨？迄今仍是一个待解之谜。从史前遗迹可以得知，人类早在新石器时代就开始使用颜料绘制图案。墨的前身可能取自天然矿物，也可能取自燃烧的木炭等。现有的证据表明人工墨的出现不晚于商代后期，科技考古工作者从出土的殷墟甲骨片残留的黑色痕迹作显微化学分析，得知当时人们已经使用一种与后世墨相似的碳料子混合物作为黑色书写颜料，可能取自植物焚烧后的烟垢，与胶性物质混合制成。同时出土的还有石砚和石质研杵，为一组书写用具，表明战国后期已使用固体墨块，与《庄子》中“舐笔和墨”的记载相吻合。

东汉时已经有捏制而成的圆柱形墨块，可直接在砚石上研磨。1974年宁夏固原县东汉墓葬中出土的一块状墨，高6.2厘米，直径3厘米，现存于宁夏博物馆。从松塔状的清晰外表花纹看，该墨应是用墨模印制之物。当时陕西隃糜所产墨品质优良，用作赏赐大臣之物，以至于后来以“隃糜”指代墨。魏晋时期制墨技艺已经到了比较成熟阶段，当时还出现了一些制墨名家，如魏明帝时的韦诞，所制之墨与左伯纸、张芝笔齐名。

两晋至南北朝时期社会经济文化发展，特别受佛教兴起影响，墨的使用进一步普及，制墨技艺得到进一步提高。北魏农学家贾思勰在《齐民要术》中详细记载了制墨工艺及当时制墨技艺的多方面资讯，包括烟的品质、胶烟比例、入墨药材、生产时节等方面的资料等等。隋唐时期墨的产地进一步扩大，从陕西隃糜、扶风、延州扩展到河北易水和山西潞州等地，产量也大幅增加。炼烟技术更加精细，出现了“远烟墨”之类的精品，同时，流行在墨模上雕刻铭文，表明刻模技艺发展到崭新阶段。

唐代制墨技艺和造纸、制笔技艺的全面发展。唐代末年，易水名工奚超、奚廷珪父子携家眷来到歙州，以造墨营生，掀开了歙州制墨史上崭新一页。后来奚氏制墨得到南唐后主李煜高度赞赏，奚氏一家受赐“国姓”，李廷珪父子制墨不仅名重一时，而且流传后世，相关记载不绝于史料。在李廷珪墨的影响下，南唐时全国制墨中心已经南移至歙州一带。这里的制墨业人才辈出，像李氏家庭中有廷珪之弟廷宽，廷寛之子承晏，晏之子文用，皆能世其业。

明清徽墨制作业得以迅速恢复。明代徽墨在生产、经营方式上也呈现出新的特点。清康熙至乾隆时期，由于皇帝酷爱书画和文房四宝，制墨业十分发达。清朝徽墨形成了歙县、绩溪、婺源三大流派，和以曹素功、汪节庵、汪近圣、胡开文为首的“清四大家”。