迄今发现最古老的墨水是古埃及墨水，在一些包裹木乃伊的亚麻布上曾发现过墨写的标志，其成分是氧化铁。

中国墨出现于公元前1300年以前，据传最早是用油籽烟和胶制成的，有极强的耐水性。但西方人却错误地把中国墨称为“印度墨”并讹传至今。

在公元1世纪时，罗马人曾以烟黑、灯烟和墨鱼汁制成过几种墨水，这些墨水干后呈深褐色。

中世纪时，欧洲的天主教教徒们发明了用株五倍子与硫酸铜(胆矾)混合制成的墨水，其颜色与现代墨水有些相似。

在16至17世纪的西方国家中，识字人不多，人们用的墨水多半是家中自制的。在北美殖民地时期，有书写活动的人家的主妇常常把墨水配制法同自已的菜谱放在一起，以备参考。