源自俗语“瓜田不纳履，李下不整冠”。
这句俗谚的意思是说，经过瓜田不要弯身提鞋子，在李树下不要举手弄帽子，以免被人怀疑偷东西。语出《乐府诗集·相和歌辞七·君子行》：“君子防未然，不处嫌疑间;瓜田不纳履，李下不整冠。”
在唐代有这样一个故事： 唐文宗李昂派一名叫郭旻(mín)的大臣去做邠宁(今陕西彬县)的地方长官。这件事情在朝廷内外引起议论。人们说这是因为郭旻进献了两个女儿入宫，才得到这个官职的。唐文宗听到这种议论后，十分生气，他对工部侍郎柳公权说：“郭旻做官一向不曾有什么过失，把他放在邠宁做地方官，实在不算什么。再说他的两个女儿进宫是侍候太后的，同我丝毫没有关系呀!”柳公权说：“瓜田李下的嫌疑，怎么能够给每户人家都解释清楚呢?”唐文宗听了也感到毫无办法。
柳公权所说的“瓜李之嫌”，就是从“瓜田不纳履，李下不整冠”两句话压缩而来的。所以后人就把容易引起嫌疑的地方称为“瓜田李下”，告诫人们要避嫌。