字节Seed团队揭示DeepSeek长文档处理不稳定根源，相位敏感性致性能波动

10月9日，字节跳动旗下的ByteDance Seed团队在预印本平台arXiv上发布了一篇重要研究论文，首次系统性地揭示了DeepSeek大语言模型在处理长文档时出现性能不稳定的核心原因。这项研究不仅为DeepSeek的“抽风”现象提供了技术层面的解释，也为整个大模型领域优化长上下文处理能力指明了方向。

该研究团队重点评估了DeepSeek-V4系列模型，包括基础版、后训练版以及最新发布的DeepSeek-V4.1-Flash版本。研究发现，这些模型普遍采用了一种名为分块KV缓存压缩的技术，通过固定步幅将连续的Token窗口压缩成更少的缓存条目，从而显著降低了长上下文推理过程中的内存占用和计算开销。然而，这种看似高效的压缩方法却引入了一个关键变量——Token的相位（Phase），即每个Token相对于压缩窗口边界的位置。

研究团队通过大量实验发现，搭载分块KV缓存压缩技术的模型存在明显的系统性不对称特性：相同的信息内容，在某些特定的相位位置容易被模型准确检索，而在另一些相位则变得难以捕捉。这种周期性的检索性能波动被团队命名为“相位敏感性”（Phase Sensitivity）。在采用类似压缩方案的大型开放权重模型中，长上下文检索准确率在不同相位之间最高可相差40个百分点。

这一发现揭示了一个重要的矛盾现象：当前广泛使用的平均基准分数实际上掩盖了模型在不同相位下的性能差异。例如，一个模型可能在公开基准测试中获得80分的平均成绩，但其中某些章节或相位的表现可能仅为20分。这意味着，用户实际体验到的模型性能，往往取决于目标信息在文本中的具体位置，而非问题本身的复杂度。

对于DeepSeek用户而言，这种相位敏感性导致了多种看似随机的性能波动现象。有用户反馈，在凌晨时段使用DeepSeek时，模型响应通常更为顺畅；而在高峰时段，则容易出现卡顿或内容断裂的情况。此外，一些用户摸索出实用经验：将提示语中的关键内容放在最前面，能大幅提升模型准确抓取信息的概率。这些现象都被最新的技术研究证实，模型架构本身的设计选择才是造成这类周期性性能波动的核心原因。

值得注意的是，这一技术发现也解释了DeepSeek此前曾遭遇的其他异常输出问题。例如，2026年5月，多位用户反映DeepSeek网页版在特定字符触发下会出现与对话上下文无关的异常输出。经过调查，DeepSeek官方确认这是特殊字符引发的模型幻觉现象，并承诺通过针对性训练进行优化。

这一研究成果对整个大模型领域具有重要意义。它表明，尽管分块KV缓存压缩技术能够显著提升模型的效率，但在追求高效的同时，必须充分考虑其对模型性能稳定性的影响。未来，模型开发者需要在压缩效率与检索准确性之间找到更好的平衡点，同时探索新的缓存管理策略，以减少相位敏感性带来的负面影响。

总的来说，字节Seed团队的这项研究不仅为DeepSeek的优化指明了方向，也为整个大模型领域在处理长上下文任务时提供了重要的技术参考。随着相关技术的不断进步，相信未来的AI模型将在保持高效的同时，实现更加稳定和可靠的性能表现。