大模型只会猜下一个词,手搓智能体需补足三块拼图
大模型本质是基于前文预测下一个token的生成系统,其能力局限在于不记事、看不见外部世界、无法主动执行动作。构建真正能自主完成任务的Agent,需在模型外补充“眼睛”(上下文感知)、“手脚”(工具调用...
当用户向AI提问“notes文件夹里哪些笔记提到了RAG”,一个聊天机器人会给出搜索建议,让用户手动执行命令、粘贴结果;而一个智能体(Agent)则能自行列出文件、逐篇读取、汇总结论——差异不在模型本身,而在模型之外的结构设计。这揭示了当前大语言模型的核心局限:它本质上只是一个“词预测器”,而非具备认知与行动能力的代理。
大模型的本质:重复执行“看前文—打分—选词—接上”四步
大模型的工作机制极为朴素:给定一段文本(即“前文”),对所有可能的后续token进行概率打分,再依据温度参数随机选择一个输出,接续到原文末尾,形成新序列。这一过程不断循环,直到生成特殊结束符为止。例如输入“今天天气真”,模型可能为“好”(62%)、“不错”(21%)、“热”(9%)、“冷”(5%)赋分,最终挑中“好”,输出“今天天气真好”,再继续预测下一个词。
这种机制决定了模型没有真正的“理解”,只有统计意义上的“顺”。它不会因对话而更新知识,也不会因被纠正而修正行为——训练完成后,参数即固化。所谓“思考模式”,不过是先生成一段草稿式中间文本,再基于该草稿生成正式回答,底层仍为同一预测流程。
三大局限:模型独自无法完成的三件事
仅靠模型本身,有三类任务注定失败:
第一,不知道新发生的事。模型所学知识止于训练截止日,无法感知现实世界的动态变化。例如2024年发生的事件,若未纳入训练数据,模型只能凭已有语料“编造”合理叙述,导致幻觉。这并非记忆缺陷,而是架构决定——它没有持续更新的“记忆体”,每次对话都是从头开始的文本续写。
第二,看不到用户私有内容。用户的本地文件、数据库、实时网页等外部信息,模型一概不知。它无法访问“notes”文件夹,更无法读取其中内容。聊天软件中看似连贯的对话历史,实则是程序每次将全部上下文重新发送给模型,模型自身并不存储状态。
第三,动不了手。模型输出仅限文字,无法调用系统命令、打开文件、点击按钮或调用API。即使它知道“应使用grep搜索RAG”,也无法自行执行该操作。它的输出是“建议”,而非“行动”。
这三项缺失,恰好对应构建Agent所需的三个外部组件:眼睛(上下文感知与记忆机制)、手脚(工具调用接口)、以及驱动其持续迭代的循环控制器。
从“小记v0.1”到完整Agent:补全拼图的过程
- 眼睛模块:引入长期记忆与短期上下文管理,使Agent能记住用户此前上传的文件、对话中的关键事实,并在后续步骤中主动引用;
- 手脚模块:集成工具调用框架(如函数调用、CLI封装),允许模型生成结构化指令(如
search_files(keyword='RAG', path='notes')),由执行器实际运行并反馈结果; - 循环机制:设计决策逻辑,使Agent在收到工具返回结果后,能评估是否已达成目标,若未完成则规划下一步动作,形成“观察→决策→行动→再观察”的闭环。
这一路径揭示了一个关键事实:Agent ≠ 更强的模型,而是模型+工程架构的组合。当前主流Agent框架(如LangChain、LlamaIndex、AutoGen)均围绕上述三要素构建。例如,LangChain提供Memory组件处理上下文,Tools模块支持自定义函数调用,Executor负责调度执行流;LlamaIndex强化文档索引与检索增强,实质是为模型“装上眼睛”;而AutoGen通过多Agent协作,进一步扩展了“手脚”的分工能力。
行业实践中的权衡与挑战
尽管架构清晰,落地仍面临多重挑战:
工具可靠性问题。模型生成的工具调用指令可能存在语法错误或逻辑偏差,导致执行失败。需引入校验层(如JSON Schema验证)、重试机制与回滚策略。部分系统采用“工具描述微调”,让模型更准确理解可用工具的输入输出格式。
循环终止判断困难。Agent何时该停止?是依赖模型自评“已完成”,还是设定最大步数?前者易受幻觉干扰,后者可能导致任务中断。实践中常结合两者:设置步数上限,并要求模型在每步输出中明确标注“继续”或“结束”。
安全边界模糊。赋予Agent“动手”能力后,其潜在风险陡增。若未严格限制工具权限(如禁止执行rm -rf /),可能引发数据泄露或系统破坏。工业级部署必须实施沙箱隔离、权限分级与操作审计。
值得注意的是,当前多数商用Agent仍处于“半自动”阶段:它们能调用有限工具(如搜索、计算器、简单API),但复杂任务仍需人工介入。真正端到端自主完成跨系统、多步骤任务的Agent尚未普及,核心瓶颈仍在规划能力与鲁棒性上。
结语:智能体进化不是模型竞赛,而是系统工程
大模型的突破让“生成”变得廉价,但“完成任务”仍需精心设计的外围系统。手搓Agent的过程,实则是回归计算机科学本源:将抽象需求拆解为可观测、可操作、可验证的子模块。未来竞争焦点或将从“谁的模型更大”转向“谁的Agent架构更健壮、更可控、更易扩展”。在通往通用人工智能的道路上,模型是引擎,而Agent架构才是方向盘与传动系统。
