20个大模型挑战《杀戮尖塔》A20难度,仅GPT-5.6Sol通关一次心脏,主因是策略过度保守
加拿大Vector研究所与荷兰Radboud大学联合开展SpireBench测试,20个主流大模型在《杀戮尖塔》最高难度A20下共进行200局游戏,仅GPT-5.6 Sol通关一次心脏。研究发现,AI...
近期,一项针对大语言模型长期战略能力的系统性评测引发关注:加拿大Vector研究所与荷兰Radboud大学的研究团队在arXiv平台发布论文《SpireBench:用〈杀戮尖塔〉评估智能体模型的长期战略能力》,首次将20个主流大模型置于《杀戮尖塔》原作最高难度A20环境下进行完整对局测试。结果令人意外——200局游戏中,仅GPT-5.6 Sol以1次通关“心脏”成为唯一幸存者。
这项测试之所以重要,在于它跳出了过往碎片化实验的局限。此前类似尝试或仅限8张牌+5场孤立战斗,或仅在最低难度A0下运行,且模型通常只负责出牌决策,不参与路线选择、商店交易与营火管理等关键宏观环节。而SpireBench要求模型全程扮演铁甲战士角色,从第一幕起自主决策每一步:走哪条路径、是否挑战精英怪、如何分配药水与遗物、何时升级卡牌、是否跳过奖励卡……最终目标是抵达并击败第三幕BOSS“心脏”。
测试采用10个全新随机种子,每个模型运行10局,总计200局。结果显示,表现最优的四个模型为Claude Fable 5.1(平均通过1.6阶段)、GPT-6 Astra(1.5阶段)、Claude Opus 5(1.3阶段)和GPT-5.6 Sol(1.1阶段)。尽管这些模型在第一阶段通关率可达85%–92%,接近人类顶尖主播水平,但随着阶段推进,胜率断崖式下跌:至第三阶段,最强模型通关率仅为0%–20%,而人类高手稳定维持在56%–71%。
问题根源并非局部操作能力不足。数据显示,顶级模型在单场战斗中平均仅掉血8.2点,远低于弱模型的14点;且从未出现“错斩”(即误伤己方),说明其即时战术判断已相当精准。真正制约其上限的,是贯穿整局的战略保守主义。
具体表现为三重行为偏差:
第一,回避风险决策。人类高手在第一幕平均挑战2.6场精英战,以换取稀有遗物与强力卡牌;而AI平均仅打0.9–1.4场。更典型的是营火选择:当血量高于70%时,AI仍有31%概率选择休息回血,而所有人类主播在此情境下均选择升级卡牌。整体上,AI在57%–75%的营火节点选择回血,人类仅9%。这导致AI常以90%满血状态进入第一阶段BOSS战,却携带低强度卡组与匮乏遗物——而人类玩家往往半血入场,但凭借前期冒险积累的资源反超。
第二,牌组管理失效。《杀戮尖塔》的核心机制之一是“小卡组优先”,冗余卡牌会显著降低关键牌抽到概率。人类玩家在卡牌奖励阶段会主动跳过约23%的非核心卡;AI则仅跳过3%–13%,导致第一阶段BOSS战时平均卡组达19.3张,人类为16.8张。臃肿卡组直接削弱了后期应对高难度敌人的灵活性。
第三,跨局学习固化保守倾向。研究分析了AI的记忆库,发现其中119条建议指向“谨慎行事”,仅17条鼓励“冒险”。这意味着每次失败后,模型倾向于进一步收紧策略,形成“越输越怂”的负反馈循环。
这一现象揭示了当前大模型在复杂动态环境中的根本局限:它们擅长处理确定性子任务(如单场战斗出牌序列),但在不确定性下的长期权衡(如牺牲当前血量换取未来成长)上仍显稚嫩。《杀戮尖塔》恰如一面镜子——它没有标准解法,每一项抉择都牵动后续数十步,且容错率极低。这正是人类玩家通过反复试错、经验内化形成的“直觉性战略”,而当前LLM尚无法有效建模这种跨时序的价值函数。
值得注意的是,该研究与近期另一项具身智能测试形成有趣对照。在Artificial Analysis发布的AA-Robotics v0.1榜单中,GPT-6 Astra等模型虽能操控机械臂完成搭积木、画图等任务,但平均耗时约30分钟,比人类慢两个数量级;且存在“任务完成仍持续调整”的逻辑混乱问题。两组实验共同指向同一结论:通用大模型在符号推理与工具调用层面进步显著,但在风险感知、资源置换与跨周期优化等需深度因果建模的能力上,仍与人类存在代际差距。
从技术角度看,问题部分源于现有强化学习框架对“延迟回报”的建模薄弱。《杀戮尖塔》中,一次精英战的收益可能在第三幕才显现,而当前基于RLHF或DPO的训练范式,主要优化短期奖励信号(如单场胜利),难以支撑数百步后的价值回传。此外,模型缺乏对“资源机会成本”的显式建模——例如,多保留10点血看似安全,实则意味着放弃一张关键遗物,而后者可能决定最终能否通关。
行业层面,SpireBench为评估智能体长期规划能力提供了可复现基准。不同于传统NLP或代码评测,它要求模型在开放世界中持续决策,并接受真实失败反馈。未来改进方向可能包括:引入显式记忆压缩机制以避免策略僵化;设计分阶段奖励函数,强化中期里程碑价值;或结合蒙特卡洛树搜索(MCTS)进行前瞻模拟——正如AlphaGo在围棋中所做的那样。
目前,《杀戮尖塔》尚未被AI征服,但这恰恰是进步的起点。当模型开始理解“血量只有快没有的时候才是有用的资源”这一反直觉真理时,或许才真正迈入战略智能的新阶段。
