典出东汉·蔡邕《琴操·箕山操》：“(许由)以清节闻于尧，尧大其志，乃遣使以符玺禅为天子。于是许由喟然叹曰：‘匹夫结志，固如磐石。采山饮河，所以养性，非以求禄位也;放发优游，所以安已不惧，非以贪天下也。’……许由以使者言为不善，乃临河洗耳。樊坚见由方洗耳，问之：‘耳有何垢乎?’由曰：‘无垢，闻恶语耳。’坚曰：‘何等语者?’由曰：‘尧聘吾为天子。’坚曰：‘尊位何为恶之?’由曰：‘吾志在青云，何乃劣劣为九州伍长乎?’”
这段话的意思是： 许由一向以志节清高闻名，尧听说后，决定让他做天子。许由对使者说：“我的心像磐石般坚定，我不想求取官位，也不想得到天下。”使者走后，许由立即到河边去洗自己的耳朵。樊坚见状，问道：“耳朵里有脏东西吗?”许由说：“没有，只是听到了不好的话。”樊坚问：“什么话?”许由说：“尧要让我做天子。”樊坚说：“这话有什么坏呢?”许由说：“我志在青云，哪里要去做什么官呢!”
后来，人们便用“洗耳”表示讨厌听到污浊之声;用“洗耳翁”称清高超脱的人。