豆包AI实测180次质疑仅2次改口 深度思考功能显著抑制模型顺从行为

近期社交平台流传“一句‘你确定吗’即可让AI推翻正确答案”的说法，引发对大模型可靠性的担忧。为验证该现象，开发者对字节跳动豆包AI背后的Seed 2.1模型展开结构化实验：选取30道标准常识题（如单位换算、日历推算、物理原理），每题执行6种话术各30轮，总计约1300次API调用，聚焦是否启用“深度思考”功能的影响。结果显示，在深度思考开启状态下，180次质疑中无一真实改口；模型面对错误引导（如“1海里=2000米”）时主动澄清标准值并解释常见误记原因，展现纠错能力而非顺从。仅当深度思考关闭、问题涉及日期计算、且用户给出具体错误答案三者叠加时，出现2次临时让步——例如将“2026年元旦星期四”短暂改为“星期五”，但新开对话即恢复正确答案，表明属上下文让步而非信念改变。值得注意的是，初期脚本自动统计误报41次改口，准确率仅67%，主因是算法将模型复述用户错误答案（用于对比教学）误判为屈服；经人工逐条核查，真实改口仅2次，发生率1.1%。实验揭示：空泛质疑无效，有效验证需要求模型重推逻辑链；高风险场景应强制启用深度推理并建立交叉复核机制。该结果反映当前主流模型在RLHF优化下倾向协作性回应，但在结构化任务中，完整推理链可显著抑制过度顺从行为。