在自来水笔发明以前，欧洲人千余年使用的一直是翎管笔（也称羽毛笔），它是使用鸡、鸭、鹅、鹰等鸟类的翅羽毛制作的，最常用的是鹅翅羽毛。英语中自来水笔一词 “pen”就是从拉丁语 “羽毛”一词演化而来的。但翎管笔的寿命很短，笔尖很容易磨秃或劈裂，一支笔能写几千字就很不错了。后来，人们在翎羽毛笔尖上包上一层金属薄片，诞生了金属笔尖。随后，木杆、金属杆又逐渐取代了鸟翅羽毛，演变成为蘸水笔。
笔的寿命大大延长了，但每写几个字就要蘸一下墨水，人们思考对它进一步变革。1809年，英国人福逊发明了笔杆中可以灌注墨水的笔，笔杆上部有一小孔，小孔关闭时笔尖写不出字，只有打开小孔墨水才能流至笔尖。同年，由另一个英国人布莱姆改进的蘸水笔具有一个很薄的银制笔杆，要象使用带橡皮囊的玻璃管一样用手挤压笔杆，笔尖才能写出字来。在1800─1900年约100年的时间里，不少发明家创造了不少各式各样的自来水笔，前后申请的专利达400余项，并曾有过手工制作的、靠滴管贮存墨水的书写用笔。但由于墨水常常凝结而堵塞笔尖，有时出水过多，有时还会漏水，使用很不方便，因而均未能得到普遍使用。
初具今天自来水笔结构的发明距今仅有百余年的历史。它是1884年由美国人沃特曼·艾奇逊发明的。
沃特曼当时从事保险工作，在工作中常常因为笔漏墨水而花了很大精力绘制出的表格作废，所以他想应该重新设计出一种能控制墨水下泄，使用更加方便的自来水笔。于是，他放弃了当时所从事的工作，开始潜心研究自来水笔。1884年左右，研究取得了结果。他利用毛细管的作用，用一条长形的硬橡皮，连接笔嘴和笔内的贮墨水管，又在硬橡皮上钻了一条细如毛发的通管，可容少量的空气进入贮管，以保持贮管内的气压平衡。这样，在笔嘴受到压力时，墨水会徐徐不断地流至笔尖，有效地解决了墨水的突然滴漏。此后，又有人对沃特曼的发明进行了改进，将加装墨水的滴管改成了能自动吸墨水的胶皮软管，使用更加方便。
