Anthropic提出上下文工程,AIAgent的核心挑战从提示词转向信息筛选

Anthropic 指出,随着 AI Agent 处理长任务能力提升,单纯优化提示词已不够;关键在于动态管理上下文——在有限 token 窗口内筛选高信号信息,避免‘上下文腐烂’导致性能下降。

人工智能

当一个 AI Agent 在执行复杂任务时运行到第 50 轮对话,突然开始重复提问、遗忘前期约定,甚至偏离目标路径,许多开发者的本能反应是反复修改系统提示词:加规则、补示例、强化指令。但 Anthropic 近期发表的研究指出,问题根源往往不在“说了什么”,而在于“此刻模型看到了什么”——即上下文(Context)的构成与组织方式。

这一观点标志着 AI 开发范式的悄然转移:从静态的提示词工程(Prompt Engineering),转向动态的上下文工程(Context Engineering)。后者关注的是在推理过程中,如何持续筛选、压缩并维护一组最优 token 序列,以支撑 Agent 完成多步骤、长周期的任务闭环。

上下文为何成为新瓶颈?

传统大语言模型应用多为单轮生成或分类任务,系统提示词一旦设定便基本固定。而 Agent 则运行于循环结构中:每一轮交互产生新输出,这些输出可能成为后续步骤的输入依据。这意味着上下文并非静态容器,而是一个不断膨胀、混杂噪声与信号的信息流。

Anthropic 将此现象称为“上下文腐烂”(context rot):随着 token 数量增加,模型对其中信息的回忆准确率呈非线性下降。图2所示曲线清晰呈现了这一趋势——当上下文长度从 10K 增至 1M+,模型回忆准确度从接近 100% 滑落至不足 10%。其根本原因源于 Transformer 架构的注意力机制:n 个 token 需建立 n² 对关系,计算资源被摊薄;同时训练数据中长序列占比低,模型缺乏处理超长依赖的经验。

值得注意的是,这种衰减并非断崖式失效,而是渐进性能滑坡。因此,上下文应被视为一种“边际收益递减的有限资源”,优化目标不是“塞得更多”,而是“选得更准”——即找到最小但高信号密度的 token 组合,使期望行为出现概率最大化。

上下文工程的三大实践维度

上下文腐烂示意图

1. 系统提示词:寻求“金发姑娘区”

提示词过细易僵化,过泛则无指引力。理想状态是提供足够具体的启发式框架,同时保留行为灵活性。例如,用 XML 标签或 Markdown 分区增强可读性(尽管格式重要性随模型进化而降低),但核心在于内容设计:先以最强模型测试极简版本,再根据失败模式逐步补充指令与示例。关键原则是——“最小”不等于“简略”,该给的背景信息必须给足。

2. 工具集:拒绝功能重叠的“大杂烩”

工具是 Agent 与外部环境交互的契约接口。常见问题是工具数量膨胀、语义模糊、返回冗余。Anthropic 直言:“如果人类工程师都说不清某种情况该调用哪个工具,就别指望 AI 能做得更好。”优质工具应具备自包含性、容错能力与明确用途,且输出尽可能节省 token。例如,一个文件读取工具不应返回整个文档,而应支持 offset、head/tail 等参数按需截取。

3. 示例库:重质不重量

长任务三大技巧示意图

少样本学习依然有效,但堆砌边缘案例效果有限。更优策略是精选一组多样、典型、覆盖关键决策点的“经典示例”。对 LLM 而言,这些示例如同视觉认知中的“原型图像”,能高效锚定行为模式。

即时检索:让 Agent 主动“找信息”而非被动“背信息”

传统做法是在推理前通过 embedding 检索预加载相关文本,但 Anthropic 推崇“即时检索”(just-in-time retrieval)策略:仅在上下文中保留轻量引用(如文件路径、URL、查询 ID),待真正需要时再调用工具动态拉取数据。

文章配图

Claude Code 处理大型数据库分析即采用此法:它不将整张表载入上下文,而是生成针对性 SQL 查询,保存结果摘要,并通过 head、tail 等命令按需提取片段。这与人类工作方式高度一致——我们不会背下整本手册,而是在需要时查阅索引与目录。

图3归纳了 Anthropic 推荐的长任务处理三技:压缩(Compaction)、结构化笔记(Notes)、子智能体(Sub-agents)。其中,“压缩”指定期将冗长对话提炼为要点摘要;“结构化笔记”强调将关键信息以 Markdown 表格或带标签的文档形式持久化,便于后续快速召回;“子智能体”则将复杂任务拆解为多个专注子模块,各司其职后汇总结果,显著提升可追溯性与容错能力。

行业影响与现实意义

上下文工程的提出,反映了 AI 应用从“单次生成”向“持续协作”演进的必然要求。早期提示词工程聚焦于“第一次对话怎么写”,而上下文工程则解决“第 N 次对话怎么记得住、想得清”。这对构建可靠 Agent 至关重要——尤其在金融合规审查、医疗问诊记录追踪、法律合同比对等强依赖历史上下文的场景中,信息遗漏可能导致严重后果。

目前已有团队将该理念落地:某头部 SaaS 公司在重构客服 Agent 时,引入动态上下文压缩模块,将平均任务失败率从 23% 降至 6.8%;另一家自动化测试平台采用结构化笔记机制,使跨轮次 bug 复现准确率提升 41%。

技术层面,这也倒逼模型架构优化。部分研究者正探索“分层注意力”机制,在长上下文中为高价值 token 分配更高权重;也有团队尝试在推理阶段引入轻量级记忆网络,作为 Transformer 注意力的补充缓存。

需要强调的是,上下文工程并非否定提示词的价值,而是将其纳入更大系统中统筹考量。正如 Anthropic 所言:“提示词定义了 Agent 的‘角色设定’,而上下文决定了它在执行过程中的‘实时认知状态’。”

未来,随着 Agent 任务复杂度持续上升,上下文管理能力或将取代 prompt 技巧,成为衡量系统成熟度的核心指标之一。开发者需从“写得好”转向“管得好”,在信息洪流中为模型精准导航。