东晋时，皇帝让在宫廷中做事的官员戴一种用黑纱制成的帽子，叫“乌纱帽”。后来到南朝刘宋时，有一位叫王休仁的创造了一种用黑纱抽边扎帽边的帽子，也叫“乌纱帽”。这种帽子很快在民间流行，于是无论官民，不管贫富，都戴这种式样的帽子，只不过颜色不同而已。北宋初年，有人将男子裹头用的幞头改装为一种纱帽，很得皇帝的赏识，因此便规定朝中官员都要戴这种纱帽，连皇帝自己也不例外。这种纱帽两旁各有一根细长翅，由于翅有一尺多长，所以走起路来会上下颤动。
乌纱帽成为官员专用的帽子并成为做官的代称，源于明初。据《明史·舆服志》载：“洪武三年定，凡常朝视事，以乌纱帽、团领衫、束带为公服。”从此，乌纱帽成了只有当官者才能戴的帽子，平民百姓就不能问津了。明世宗时，将乌纱帽的帽翅长度缩短了，而且其宽窄也不相同，官阶越高，纱帽的双翅越窄，反之双翅越宽。
清初顺治帝入关时，由于收留了许多明代降臣，不少地方的官员们仍戴明代乌纱帽。等到清室统治巩固，才下令将乌纱帽改为红缨帽。但人们仍习惯使用“乌纱帽”一词，久之，乌纱帽便成为官位的代称了。