此语的最初说法是“三个臭皮匠合成一个诸葛亮”。过去人们常把这句话作为褒语，认为群众的智慧可抵得上一个足智多谋的诸葛亮。该语的产生源于皮匠制鞋的工艺。
原来，过去鞋子上常用两道突出的“梁”缝缀鞋面，就像现在冬天所穿棉鞋的鞋面上保存的那种形制。这突出在鞋面上的“梁”，是用猪革包上缝成的。而由于皮匠的手艺拙劣，连缝一道猪革的鞋梁都不能单独完成，最终还得有两人帮忙，由三个臭皮匠才凑合完成那道猪革梁。所以说：“三个臭皮匠[[!GF8BC]]成一个猪革梁。”(“[[!GF8BC]]”字见《说文解字注》，如[[!GF8BC]]火、[[!GF8BC]]会，[[!GF8BC]]犹合。读作隔音。)这完全是形容能力薄弱的人，要由几个人合作才能勉强完成一项最起码的事情。由此可见，原来这一俗语是一贬语而非褒语。
由“三个臭皮匠合成一个诸葛亮”演化为“三个丑皮匠胜过诸葛亮”，有这样一个民间故事：
有一次，诸葛亮到东吴做客，为孙权设计了一尊报因寺塔，其实这是诸葛亮要看看东吴有无能人。那宝塔要求很高，单是顶上的铜葫芦就有五丈高、四千多斤重。孙权被难住了，虽然后来寻到了冶匠，但缺少做铜葫芦模型的人。城门上贴起招贤榜，时隔一月，仍然没有人揭榜。诸葛亮心中暗笑。
那城门口有三个摆摊子的皮匠，他们面目生得丑陋，又目不识丁，人家都称他们是丑皮匠。他们听说诸葛亮在寻东吴人的开心，心里不服气，便三个人凑在一起商议。他们足足费掉三天三夜的功夫，终于用剪鞋样的办法，剪出个葫芦的样子。然后，再用牛皮开料，一锥子一锥子地缝成一个大葫芦的模型，在烧铜水时，先将皮葫芦埋在沙里，一试果然成功。诸葛亮听到铜葫芦浇好的消息，立即向孙权告辞，从此再也不敢小看东吴了。
从此，“三个丑皮匠，胜过诸葛亮”这句话一直流传至今。人们用它说明这样一个道理： 一个人无论多么聪明，他个人的智慧也比不上集体的智慧。
现多用来比喻人多智慧多，有事大家商量，就能想出好办法来。