一个风大天黑的晚上，兄弟俩在石屋里睡得正香，猛然听到外面有响动，忙起身冲出石屋。只见眼前几十个鬼怪嚎叫着向兄弟俩扑来。兄弟俩毫无惧色，但见神荼手提桃棒迎上去，郁垒手抓苇绳跟在后边。哥哥前边抓，弟弟后边捆，转眼工夫，几十个鬼怪全被抓住喂了守林老虎。原来这些鬼怪都是野王子和手下人假扮的，本想把兄弟俩吓跑，哪知道毒计不成反而丧了性命。此事传开后，人们纷纷上山来感谢神荼兄弟俩为百姓除了害。

后来兄弟俩去世后，人们传说他俩成了仙，上了天庭，老天爷命他俩专门惩治恶鬼。因为桃林是神荼兄弟种的，能驱鬼辟邪，所以，从这以后，每逢春节，人们便用桃木雕刻出“神荼”、“郁垒”这两个神像，用来镇妖避邪。可能是雕刻太费事，也可能是雕刻需要技艺，以后这种雕刻形式又被“桃板”所代替，也就是直接在桃板上画像。以后进一步简化，只是在桃板上写上“神荼”、“郁垒”的名字，直接悬挂在门子的两边，人们习惯上称之为“桃符”，有道是“千门万户？？日，总把新桃换旧符”，这大概就是我国古代最早的春联了。

也有一种传说，与此略有不同。说是《山海经》里有这么一则故事：传说东海里有座风景秀丽的度朔山，又名桃都山。山上有一棵蟠曲三千里的大桃树，树顶有一只金鸡，日出报晓。这棵桃树的东北一端，有一拱形的枝干，树梢一直弯下来，挨到地面，就像一扇天然的大门。度朔山住着各种妖魔鬼怪，要出门就得经过这扇鬼门。天帝怕鬼怪下山到人间作祟，派了两个神将去把守，一个叫神荼，一个叫郁垒。这两个神的名字有特别的念法，神荼要念“伸舒”，郁垒要念“郁律”。两员神将专门监察鬼怪的行为，发现哪个鬼怪为非作歹，便用草绳捆起来送去喂老虎。此后，从这个故事中引申出了鬼怪与桃木之间的种种传说。于是，从那以后，人们每逢过年，便用两块桃木刻上神荼、郁垒的像或写上他俩的名字，挂在门的两边，叫做桃符，以示驱灾压邪。

除此以外，在邯郸还流传有这样的一则故事。说是唐朝以后，每逢春节，人们除了在门上张贴以往的神荼、郁垒两位神仙以外，人们还把秦叔宝和尉迟恭两位大将当作门神。传说唐太宗李世民发动玄武门政变，杀死兄弟，逼迫父亲唐高祖李渊退位当太上皇，自己登上皇位。此后因魏徵梦斩泾河老龙，每夜好像听见寝宫外有鬼往屋里扔砖瓦，奇呼怪叫。唐太宗无奈，把这件事告诉了群臣。开国功臣大将秦叔宝自告奋勇愿意到宫门口守夜驱鬼，另一位开国功臣大将尉迟恭也愿意陪伴守夜。当晚两人全身披戴盔甲，手执武器，在寝宫门口守了一夜。唐太宗果然睡了个好觉，接连几天，唐太宗身体逐渐康复，不忍心再让两位大将持续守夜，于是便命人将两位大将的威武形象画下来，把画像贴在门上。此事传播开来，尉迟恭和秦叔宝渐渐被奉为门神。