最早使用乌纱帽的人是东晋时期皇宫里的官员们，当时只不过是用一块黑色纱巾把头裹起来，俗称“幢头”。南北朝时期就开始盛行了。隋代以后，乌纱帽成为文官的正式官服固定下来，但当时还只有皇帝和朝中大臣们戴，直到唐朝时才成为官服。

乌纱帽的样式也在不断改变。唐代就把纱巾的两只角用金属丝拈起来折上去，称为“折上巾”，后人又称之为“唐巾”。宋朝的时候，开国皇帝赵匡煳为了进一步加重朝廷里的威严气势，决定把原来的纱巾改为帽子形状，这种帽子外面还是用乌纱包着。为了避免大臣们交头接耳，同时增强官员们的派头，又在帽子靠耳朵的地方设了两根长长的展，俗称“翅”。