网通社科技快报

32K上下文实测第80轮起AI遗忘关键信息 8K加10%摘要策略120轮全保留

一项针对大模型32K上下文窗口的120轮对话实测表明,AI并非真正‘记住’长历史,而是依赖客户端拼接的临时上下文。测试构建固定客服场景,每轮平均402 tokens,埋入6条关键事实(如姓名、订单号、地址等)。结果发现:32K窗口实际仅支撑约77轮完整信息保留;第80轮起第1轮姓名率先丢失,第85轮订单号消失,至110轮6条事实全部无法召回。该现象源于请求时仅传递窗口内片段,窗口外内容未进入推理过程。

对比策略中,8K窗口配合10%摘要(即对早期历史压缩至原长10%)表现最优:120轮后6条事实100%正确召回,累计输入910,716 tokens,按2.5美元/百万tokens计成本约2.28美元。而32K纯截断方案不仅早期信息丢失早,单次输入超36,000 tokens,成本更高。

测试还指出,工具调用结果常挤占窗口主体,导致核心语义被覆盖;Prompt cache机制因摘要改写前缀而频繁失效,增加计算开销。行业已转向分层记忆:短期留上下文、中期存向量库(RAG)、长期靠外部知识库,并通过结构化元数据(如JSON字段)显式传递关键信息。研究亦探索轻量抽取模型生成‘事实锚点摘要’,仅保留人名、编号等不可压缩要素。

需警惕的是,多数开源框架默认简单截断,用户易在长对话中无意丢失前提约束。技术演进方面,vLLM 0.4+支持动态上下文重排,Claude 3.5 Sonnet宣称优化信息保留,但尚未验证。核心结论是:关键信息不应依赖自然语言上下文,而应通过结构化方式显式管理。