双塔山天生奇异，也引起了皇家极大的兴趣，在乾隆时期，乾隆皇帝想要亲自爬上山去瞧瞧，探探究竟，于是命人修建云梯，顺利登顶，上去之后的情景却是让乾隆大吃了一惊：莫非是有真神仙？塔前香炉里面尚有青烟缭绕，与平常伺奉并无区别。只见北峰古塔两米左右，由青砖修砌而成，有长形和方形两种制式砖石，门也好生小巧，十分奇特；南峰那边却另有洞天，高度5米左右，方形建设，有一长形门，塔顶四角各有一根铁棍挑出，上挂铜铃，清风徐来，叮铃作响。
塔前各个方位供有几尊菩萨，神龛、香炉一应俱全，塔门前有几畦韭菜。不知是幻觉还是真实存在，乾隆居然感觉自己在古塔中看到一本旧书，待到仔细阅读时，却看不懂上面是什么文字，出得古塔门来，又见门前有双草鞋，虽是疑惑却也无从探究，觉得再无探索兴趣，揪了几叶韭菜就顺着云梯回避暑山庄了。当天晚上，一位白发老者忽至梦中，大声斥责大胆凡人你为何擅闯仙境，还随意动仙人的东西，又来讨要仙草，乾隆反驳，我只是折了几叶韭菜，并没有拿什么仙草。
老者又问：“陛下可曾在山上看到了什么？”乾隆如实作答。老头微愠道：“兀那凡夫俗子，当然不懂得我这仙境物什，旧书乃是天书，草鞋乃是登云靴，香炉乃是生云坛，至于你说的韭菜却是灵芝仙草。”乾隆正欲仔细询问，只见那老者随风缥缈，渐行渐远了。第二天一大早，乾隆又想爬上云梯一探究竟，没想到头天还好好的梯子却被大风给刮倒了，当下又令人重新建设，却怎么也没法工作，见有异状，知道天意不可违，只得作罢。
后来到了抗日战争时期，供奉从山上跌落佛像的关帝庙被毁，佛像又被另一个寺庙的和尚收集供养，后来因为一些特殊原因，这座小庙也被毁，佛像随着遭殃，成了无数碎片。后人寻遍史料，对于石峰之上古塔的来源始终一无所获。在唐山大地震时，石峰上落下几块青砖，砖形有长有方，长的竟有半米之长，而宽只有砖长的一半。方砖以35厘米长度做边，做工规整。
在砖石的背面刻有六至七道粗沟，非常符合辽代砖的特征。专家们推测，这两座古塔可能兴建于辽国时期，至于为何要在这样的地方耗费巨资修建，可能跟契丹人的信仰有关，他们崇拜高山，视高山为神，认为人死后，回归神山才是上上之选。因此他们的很多皇陵和祖庙也是修建在高山上面，而在他们建国之前，有一种十分奇特的风俗，人死后需要树葬，但凡有人去世，往往先把人放置在树上，等三年之后再去收集遗骸火化。
如果是契丹人所建，那么修建方式很有可能是直接在两个石峰之间搭梯子攀援而上，运送建筑材料和工匠上去，待佛塔完工之后，再拆除，遥遥相拜，以示崇敬神灵。如果是出于保护古塔的目的而把古塔悬空，也存在这种可能，当时的塔是建设在山丘之上，也符合契丹人的信仰习俗，但由于天下形势大变，为了不让其他族类毁坏佛塔，契丹人就从塔的周围挖掘，没想到挖掘之后，却发现塔的下面是两根奇异石柱，像是从地里面长出来一样，越挖越深，大概挖了几十米，把土方转运到其他地方，也就慢慢形成这种高悬在空中的状态，给后人留下无限遐想。
