原意指虚幻怪诞的境界，本为褒义词。
“牛鬼”一词出于《妙法莲华经》：“复有诸鬼，首如牛头，或食人肉，或复啖狗。”“蛇神”见于密宗曼荼罗画。密宗经典《尊胜佛顶修瑜伽法仪轨》载，“曼荼罗画”的构图有“西面门南，西方水天神，被甲头上蛇头，手把龙索。”因而“牛鬼”“蛇神”是指佛经故事和佛教艺术中的鬼神形象。
“牛鬼”“蛇神”联用始见于唐·杜牧《李贺诗序》：“鲸呿(qū，张开大口)鳌掷(急速跳跃之状)，牛鬼蛇神，不足为其虚荒诞幻也。”李贺是唐代著名诗人，虽只活了27岁，却才华横溢，诗名闻天下。他的诗别具一格，常写神仙鬼怪形象，以描绘精灵鬼魅闻名于世，号称“鬼才”。杜牧给李贺诗集作序，为了形象地说明李贺诗的这一特色，借用张嘴的鲸、猛跳的鳌、牛头鬼、蛇身神等巨大和怪异的动物或鬼神形象，来比拟李贺诗的惊人出众，指出即使是长着牛头的鬼和有着蛇身的神，也比不上李贺描绘的境界虚幻荒诞。
在我国古代，牛和蛇在人们心中一向地位很高。牛象征勤劳坚韧的精神，蛇则是华夏民族早期崇拜的图腾标志，后来则号之为“小龙”或“地龙”。牛头之鬼和蛇身之神，都是正面形象，人们是把它们当作偶像加以顶礼膜拜的。正因为如此，我国古代传说中的不少部族领袖和英雄人物，如伏羲、女娲、大禹等，都被人们描述成牛首人身或人首蛇身的形象，加以颂扬。唐代大文学家韩愈说：“昔之圣者，其首有若牛者，其形有若蛇者。”指的就是这种情形。由此看来，在我国古代，坏人还没有资格被喻称为“牛鬼蛇神”呢。
后来，随着社会的发展和观念的变化，人们不再把“牛鬼蛇神”当作美好的形象，这个词语也随之演变成贬义词了，用来泛指形形色色的妖魔鬼怪，比喻各种各样的坏人。