旧时对官署的称呼《辞源》：“旧称官署为衙门。本作‘牙门’。古代营门树立旗帜，两边刻绘成牙状，称为牙旗，因称营门为牙门。《后汉书》七四上《袁绍传》：‘遂到瓒营，拔其牙门。’即是。”

也有人认为，牙旗本来是一种饰以象牙的旗。孔经父《杂说记突厥，李靖徙牙于碛中。牙者，旗也。《东京赋》注：‘竿上以象牙饰之，所以自表饰也。’太守出则有门旗，其遗法也。后遂以牙为衙。”

衙，本作牙。牙，爪牙 。唐封演《封氏闻见记 公牙》“：近代通谓府廷为公衙。公衙即古之公朝也。字本作牙，《诗》曰：‘祈父予王之爪牙。’祈父司马掌武备，象猛兽以爪牙为卫。故军前大旗谓之‘牙旗’……军中听号令，必至牙旗之下，称与府朝无异。近俗尚武，是以通呼公府为‘公牙’，府门为‘牙门’，音稍讹变，转而为衙也”唐李匡又《资暇集》“：武职有押衙之目。衙宜作牙，非押衙府也，盖押衙旗者。按，兵书云：‘牙旗者，将军之旌。’故竖于门，史咸传作牙门。会押牙既作押衙，牙门亦谓之衙门乎？”