字节揭示DeepSeek V4 Pro周期性失忆根源每4 Token波动准确率差34.7%

10月15日DeepSeek服务中断近5小时后，于10月17日上线V4.1-Flash-1017版本并开放自研搜索API，引发社区对曾下架又恢复的V4 Pro稳定性的持续关注。字节跳动Seed研究团队近期发表论文，系统揭示V4 Pro表现反复的核心原因：其采用的CSA（Chunked Sparse Attention）与HCA（Hierarchical Chunked Attention）组合压缩策略导致“相位敏感性”——模型在处理长上下文时，每4个Token出现一次规律性推理波动，表现为选择性失忆。实验显示，V4 Pro Base版在16000对问答定位测试中准确率波动高达34.7%，即便经后训练优化的正式版仍不稳定；V4 Flash Base波动更达40.23%，说明问题植根于底层压缩设计。控制变量实验证实，仅当引入类似分块压缩机制时，周期性波动才显现，且周期长度严格匹配压缩步长。深层分析发现，模型各层神经网络对序列不同位置产生空间偏置，在压缩下被放大，致非偏好区域信息被系统忽略。该缺陷解释了用户实践中“极简模式+分阶段工具调用”可提升稳定性的现象。行业层面，激进压缩成主流趋势，但V4 Pro案例警示固定步长硬分块可能引入隐蔽偏差。V4.1-Flash-1017未彻底修复问题，但通过优化推理路径与智能体调度，Terminal-Bench得分从31.2升至42.3，ProgramBench从20.3升至29.1，同时成本显著降低：编程任务耗时48分钟成本2.9元，远低于GPT-4o Sol的7分钟7.8元。新版本配合限时免费Search/Fetch API，支持开发者构建检索-推理-执行闭环。