国人习惯谓妻子有外遇的男人，或丈夫主动让其妻卖身于他人的男人为“戴绿帽子”或“当王八”。此习语由来已久。

相传在我国原始社会的尧舜时代，对犯法者不用肉刑，只在他们的服饰上，按犯罪情节的轻重画上特殊的标记，以示惩戒，称之为“画像”。进入封建社会以后，统治阶级仍然沿用这种以服饰惩罚犯人的方法，但不再是“画像”，而是让犯人穿上一种特制的服装，称为“褚衣”，颜色为赤褐色。班固在《汉书·刑法志》中说:“奸邪并生，赌衣塞路”，可见，结衣在汉代已成了犯罪人的代称。