巴灵台地处三巴腹地（巴东、巴西、巴中），四面峻峭，由巨石垒成，山顶突起如台，素有“铁打巴灵寨”之称，远观形如天马。巴灵台主峰海拔760余米，东西长约300米，南北最宽处25米左右，最窄处约3米，台上面积约6000平方米。中部有丈余宽的石隙，清时修起一座石拱桥，连通两座石山合为灵台。置身高高耸立的灵台之上，仿若位于天地中心，与天神距离最近，正如古诗所云：“峥嵘峭壁接青天，乘兴登灵意豁然”。
巴灵台是古巴人祭天的场所，古巴人长期在此祈雨，以图风调雨顺，距今已有几千年的历史。巴灵台位于米仓古道要冲，是古人军事、官驿、文化、商贸的必经之路。据传，巴灵台是当年巴人政治、经济、文化最发达、神灵最灵验、人们最向往的地方。明朝初年巴灵台山上始建庙宇，成为人民的信念，各地信徒、达人、贤士纷至沓来，游人来往众多。
相传，很多年前，巴灵寨的药王菩萨化身一名医生在巴中一带为贫苦乡民治病，药到病除，声誉大振。人们对他的高超医术、热忱的态度十分崇敬、感谢。药王菩萨对所有要感谢他的人说：“你们要谢就请到眉阳城来谢我。”乡民找遍天下，都没有“眉阳城”这个地方。后来他又向患者家属投梦眉阳城在巴灵寨……巴灵寨地区的一些乡绅便计议兴场，清光绪年间始建巴灵寨场，后命名灵山，现为灵山镇（平昌县）。
明朝初年，巴灵台峰顶只有一个药王庙，到清朝乾隆年间，山顶已有9座庙观、1座斋堂，山腰有牛王庙和观音庙，一共有12座庙观建筑。整个建筑依山而建，古朴典雅，险峻奇特，佛像千尊，金碧辉煌，接地连天，浑然一体。集“儒、道、佛”三教于一山，既是三巴佛教总坛，又是药王菩萨道场。自乾隆年间至上世纪40年代末，清灯黄卷，佛声悠扬，暮鼓晨钟，响彻云霄，善男信女络绎不绝，春夏秋冬香火不断。在清朝时期，巴灵台庙观的白粉墙上有游人题诗留恋。诗中写道：“莺歌燕舞艳阳天，男男女女登灵山。比肩接蹱不绝道，红桃绿柳接瑶天。石牛回首观台地，红云绿竹映眼帘。笑语声中赞胜景，重游灵台话当年。”
“巴灵台”这三个石刻大字，就是清朝乾隆庚辰年（1760年）恩科举人吴道凝手书，是保存最完好的古迹之一。
