据说南澳岛隐藏着一笔巨大的财富，金银珠宝如流水般汇聚。关于这份宝藏的传言，始于宋朝末年的动荡时期，在明代又被海盗的故事所加添色彩。但最为人津津乐道的是有关宋朝末代皇帝赵昰的故事。

在逃亡至南澳岛后，小皇帝赵昰和他弟弟赵昺眼见追兵迫近，便决定留下一部分珍贵物品，并在附近石壁上刻下秘密文字，以便日后能找到这些遗失之物。在《南澳志》中记载了这一历史细节：宋末帝曾在岛上居住15天，这个地方与民间传说的宝藏地相呼应，因为传说中的宝藏就在太子楼不远处的一堆巨石中。

当地居民相信，在宋皇室离去之前，他们将金银财宝埋藏于石室内。如果有人能正确读出石壁上的35个残缺文字并解释其含义，那么巨石就会自动打开，所有的人都可以看到那里的珍贵财宝。不过，由于年代久远，时间磨损严重，使得那些字迹变得模糊不清，让人难以辨识。尽管如此，那些未被取走的金银财宝仍然隐藏在太子楼里等待着有缘人的发现。