据传东晋大兴年间，晋元帝打算在建康都城的正南门──宣阳门外立双阙，丞相王导陪同晋元帝乘舆出宣阳门，王导认为国家草创，财力薄弱，连城墙都用篱笆代替，不能大兴土木。于是，他指着正对宣阳门的牛首山的两峰，对晋元帝说“此天阙也”。元帝因此打消了建阙的念头。唐天宝年间，改山名为“天阙山”。

　　牛首山还被称为“仙窟山”，这与佛寺有关。在南朝时，许多帝王崇信佛教，大兴寺院。牛首山幽雅宁静，环境优美，是佛教徒修身养性的理想场所。南朝年间有一位叫辟支的高僧，曾在牛首山两峰下的一个山洞里修身，这个山洞后称“辟支洞”。传说辟支在这里“成佛上天”，因而这个洞便被称为“仙窟洞”。梁武帝时期，司空徐度在双峰间建了一座寺庙，称做佛窟寺，后梁武帝又在佛窟寺下建仙窟寺。因此，牛首山又称为“仙窟山”。唐代的法融禅师曾在佛窟寺设禅布教，成为佛教中的一个重要流派“牛头宗”的发祥地。佛窟寺在南唐时称为宏觉寺。日军侵华期间，寺庙被付之一炬，殿宇全毁，仅存宏觉寺塔一座。

　　宏觉寺塔又名唐塔，因建于唐代而得名。其实，今存残塔已非唐时原塔，乃是明初所建之塔，已有五百多年历史。宏觉寺塔七级八面，高25米，用砖砌成。塔每面开?酌乓蛔?，小窗两扇，每层均挑出雕木飞檐。现在该塔已微有倾斜，被列为江苏省文物保护单位。

　　牛首山还有南宋岳飞抗金故垒和郑和墓。牛首山东麓松林深处有一开阔地带，现在尚有用石块垒成的一围墙遗址，这就是岳飞大破金兀术的故垒。郑和衣冠冢位于牛首山南麓，墓位于一小山坡上，北对宏觉寺塔，东邻献花岩，东、北、西三面有山环绕，当地群众称此小山坡为“回子山”。
清明前后，牛首山景色绝佳，故有“春牛首”之说。