早在希腊和罗马时期，欧洲人就开始拿铅条或者铅块当作笔使用了，但这种名副其实的铅笔并不好用，铅条很容易折断，写出来的字迹颜色较淡，笔迹也很模糊。

1564年，一场猛烈的咫风袭击了英国坎伯雷平原。风暴停息后，一位牧羊人赶着羊群路过大树旁。他发现树坑里露出了一大片黑黝黝的石头。用手触摸石头后，手马上被沾黑了。牧羊人觉得这些石头很好玩，就用它在绵羊身上画记号，并称它为“黑铅”。当时英国的贸易发达，商人们做买卖时，需要在货物包装袋上标号码、写字，可生意人一直苦于没有理想的书写工具。一位精明的商人看到了“黑铅”，认定这里面一定有钱赚。于是他就将它切成条形状，用布包起来，贴上商标，卖给做生意的人。这种“黑铅”就是石墨。与先前的铅条相比，它划出的笔迹粗黑醒目，效果好得多。

18世纪中叶，德国的法贝尔在石墨粉中掺进一定量的硫磺，经加热成型后的铅笔芯硬度合适，书写流畅，字迹消晰。1760年，法贝尔建立了一个铅笔工厂，将石墨笔芯夹在两片木条之中，制成铅笔。这种产品一投放市场，立即被销往全世界。

1789年，随着法国资产阶级大革命的爆发，法国的进出口贸易几乎中断了，铅笔也无法从外国进口了。一位叫做康迪的画家决定自己制作铅笔，他发现在石墨粉中掺进戮土，制出的笔芯质量十分好。

到了20世纪，美国的菲郎丁尔菲亚地区的一个画家叫利普曼，他发明了橡皮头铅笔。1822年，英国的霍金斯与莫达合作，发明了第一支“仲缩式铅笔”。1838年，美国人基拉恩发明了“活动铅笔”。此后又经过多次的改进，逐渐发展成为今天的“自动铅笔”。