树叶凋落时总要落到树的根部。“叶落归根”一语的意思最早见于《荀子·致仕》，原句是：“水深则回，树落(则)粪本。”这在《汉书·翼奉传》的注里被引申为“木落归本，水流归末”。当时的语义比较浅显，也比较接近“叶落归根”了。
“叶落归根”语出唐《六祖大师法宝坛经·咐嘱品第十》。唐代高僧慧能，是达摩祖师从印度来到中国之后衣钵相传的第六代弟子，世称六祖大师。如果从佛祖释迦牟尼算起，他是第三十三代弟子，所以《景德传灯录》上又称他为“三十三祖”。六祖将入涅槃时，曾对他的门人说他想回归新洲老家，要门人迅速给他准备舟楫。弟子们苦苦哀留，他说：“诸佛出现，犹示涅槃，有来必去，理亦常然;吾此形骸，归必有所。”众曰：“师从此去，早晚可回。”六祖又对门人说：“叶落归根，来时无日。”
后来，陆放翁干脆把这句俗话纳入诗中，作成“云闲望出岫，叶落喜归根”的佳句。
从此，人们便以“叶落归根”比喻事物总有一定的归宿。亦指客居他乡的人回返本乡，或回到自己的本来岗位。