最早的牙签出土于距今2800年前的东周墓
《礼记》：“毋絮羹，毋刺齿。”
齿签也称“剔齿签”，即现代常说的“牙签”——用来挑剔牙齿间残留物的小用具。剔牙，是古今皆存在的生活现象。据周燮均、颜《安阳辉县殷代人牙的研究报告（续）》披露，距今三千年前的殷代人已有剔牙的习惯。
在对殷代92个个体存留牙齿观察后发现，其中有两个个体中的3颗牙齿上，有类似剔牙的痕迹。考古专家认为，这些痕迹“不同于浸蚀症状，除了剔牙痕迹外，似无更好的解释”。
如果属实，这应是迄今发现最早的中国古人剔牙实证，但是否使用了专门的牙签仍无法证实。现存最早的牙签发现于1954年，当年对河南洛阳中州路（西工段）遗址发掘时，从编号为M2717号东周墓中出土了8根骨签，经分析确认为牙签。据《中国田野考古报告集·洛阳中州路（西工段）》描述，这8根牙签最长的6.9厘米，最短的5.8厘米，出土时混杂在骨叉中，包裹于织物包内，放在铜容器上面。考古报告认为，这些骨签或是“一种食具”。但这种结论与其牙签属性并不矛盾，牙签的功能原本就与筷子一样，可以用来戳取食物，用之取食时的骨签就是一种食具，用之剔齿则为牙签。
使用牙签，可以说是人类饮食文明的一大进步，比直接用手去抠不仅文明而且卫生。古人对如何剔牙是有讲究的，《礼记·曲礼上》中提出：“毋絮羹，毋刺齿”。这里的“刺齿”就是剔牙，意思是吃饭时不要往汤里放调味品，不要当众剔牙。这与现代就餐文明要求完全一致。
牙签对老人来说尤其重要，老人牙齿松动，出现缝隙，吃肉时容易塞牙，很需要用牙签剔除。所以，元赵孟頫《老态》诗称：“扶衰每籍过眉杖，食肉先寻剔齿签。”
汉魏时用牙签剔牙已十分普遍，东汉末名人曹操就喜欢剔牙。据《陆士龙集·与兄平原书》，西晋人陆士龙在邺城时，曾看到曹操的生前遗物，除了床、席、被子、帽子、扇子等用品外，还有“牙齿纤（签）”，并将所见写信告诉了哥哥陆机。后来他还从“曹公器物”中，“取其剔齿纤一个，今送以见兄”。

牙签除了“剔齿纤”外，还有剔牙杖、挑牙、牙杖、柳杖、杨枝、嚼杨枝等多种叫法，但明清以前古人似乎不称“牙签”，古代牙签应是一种类似于书签的“签牌”，并不用来剔牙。在这些叫法中，魏晋以后出现的“嚼杨枝”叫得最多，日本至今仍称牙签为“小杨枝”。
嚼杨枝乃佛家叫法。东晋法显的《法显传》有这样的说法：“南门道东佛本在此嚼杨枝已刺土中，即生长七尺，不增不减。”剔过牙后，将杨枝做的牙签插入土中，竟然能生长，显然是佛门传奇。
佛门有规矩，把口腔弄干净后才能念经，否则有亵渎佛祖之嫌。据《隋书·真腊传》，真腊国（今柬埔寨境内）僧人，“每旦澡洗，以杨枝净齿，读诵经咒；又澡洒乃食，食罢还用杨枝净齿，又读经咒。”
古代牙签有骨制、木制、金属等质地，但都不是一次性消费品，似与筷、叉一样，可重复使用，故古代牙签做得非常精致。1979年，在江西境内发现的三国东吴高荣墓中曾出土一只精美的金牙签，还是两用的，另一端是刷子。