九华山是上古学仙修道圣地之一。据《福地考》载，九华山位列道教的“七十二福地”之中，居第三十九位。最早在九华山进行宗教活动的是道教。据《福地考》载，曾有不少高道在九华山修炼，今仍在九华山流传着许多与道教有关的故事和诗文，九华山不少地名也都与这些道教人物和传说有关。
东晋末至中唐之前九华山是道家修真的七十二福地中的第三十九地。今九华山的“真人峰”、“葛仙丹井”、“葛仙洞”被认为葛洪等人修行的遗迹。陵阳县令窦子明，及其后的子安白日升仙等广为流传的神话，折射了早期九华山是仙家修行地之一。
九华山道教在唐代处于兴盛时期。唐开元年间（713—741年），朝廷特——闽许道教信众在九华山营建开元观，并诏以馆元真。今观冲，即是开元观遗址。
天宝年间（742—756年）建有仙坛宫，乾宁年间（894—898）高道赵知微建延华观，富丽堂皇。建于南唐大顺年间（890—891年）的保宁观、崇贞观等，都在宋治平年间（1064—1067年）得朝廷赐额。自唐开元年间新罗僧盘乔觉卓锡九华之后，九华山被佛教信众崇枣为地藏菩萨应化道场，佛教日渐兴盛，信众云集，寺庙林立，香火不绝。
道教在九华山的地位渐渐退居其次，在两宋时期，曾兴旺发达的延华观被佛教徒改建为“沙弥庵”，贞元年间（公元785—804年）修建的“甘贽道庄”也被改建成“龙门寺”。
明清时期，九华山虽然修建了云峰堂、玄夷堂、九华正院等遭观，在太极洞、古仙洞、伏虎洞等古老的岩洞处有一些道人聚居，但道教的势力仍是日趋衰微，活动范围日益缩小。而佛教在九华山的地位则日益巩固，且得到帝王的敕赐和地方官府及广大信众的支持。
在清至民国时期，道教的影响更为减少，还出现了僧道杂居的特殊现象。如据1942年九华山僧道名册统计，九华道院、太极茅蓬、海慧寺、净修茅蓬、西来庵等处共住有道士8人，女冠13人。解放后只有几个道士道姑在九华山一带活动。进入21世纪以后，九华山区又有少数道人恢复活动，但主要仅限于度亡、医卜等方面。
