大模型推理如何逐词生成？从DeepSeek回答‘大海为何是蓝色’看Token与自回归机制

当你在 DeepSeek 中提问‘为什么大海看起来是蓝色的？’，回复不会一次性弹出，而是逐字逐句浮现——这种现象背后，是大模型推理的核心机制：自回归生成（Autoregressive Generation）。以实际生成的一句回答‘海水会吸收较多红光，蓝光更容易被散射回来，所以大海常呈蓝色’为例，其完整生成过程涉及 19 个 Token，远非直观的汉字数量所能对应。

Token 不是汉字，也不是词语

这段回答经 DeepSeek-V4-Pro-Base 官方 Tokenizer 实际切分后为：海水 | 会 | 吸收 | 较多 | 红光 | ， | 蓝 | 光 | 更容易 | 被 | 散射 | 回来 | ， | 所以 | 大海 | 常 | 呈 | 蓝色 | 。

关键点在于：‘较多红光’被切为 2 个 Token（较多、红光），而‘较多蓝光’则被切为 3 个（较多、蓝、光）。这说明 Token 是模型内部处理文本的基本单元，其边界由分词器（Tokenizer）决定，既不等于单字，也不等于语义词。不同模型的 Tokenizer 规则各异，同一段文本在 GPT-4 与 DeepSeek 下可能产生显著不同的 Token 数量。

Token 化之后，每个 Token 会被映射为一个整数 ID（如‘海水’→48572），再通过 Embedding 层转换为固定维度的数值向量。这些向量构成模型后续计算的基础输入——Transformer 并不直接处理文字，而是处理这些高维数值序列。

自回归：一步一 token 的生成逻辑

模型生成时，首先输出‘海水’，将其加入当前上下文；接着基于‘海水’预测下一个 Token‘会’；再以‘海水会’为输入预测‘吸收’……如此循环，直至句末标点。每一步都是一次前向传播（forward pass），模型仅能访问已生成的部分，无法预知后续内容。这种机制称为自回归生成，是当前主流大语言模型的标准输出方式。

这一过程依赖 Transformer 的注意力机制（Attention）。以句子中‘它’指代‘海水’为例：当模型计算‘它’位置的表示时，Query（Q）代表当前位置的需求，Key（K）代表历史各位置的特征标识，Value（V）则提供实际信息内容。通过 Q-K 匹配，模型可让‘它’有效关联到前文的‘海水’，实现长距离语义依赖。

但自回归机制也带来明显瓶颈。例如，在选择题任务中，模型需生成‘答案是 B’等冗余文本才能表达选项，而非直接输出‘B’。据补充素材分析，完成一个 30 Token 的答案需 30 次前向计算；而新兴的决策模型（如 JEV、Drex）可在单次前向中直接输出各选项概率，效率提升达 3 倍以上。更严重的是，因词表包含数万个 Token，模型可能生成不存在的选项（如‘E’），提示词‘只输出 A/B/C/D’仅是软约束，无法根除错误输出。

上下文窗口：Token 总量的硬性限制

Token 数量不仅影响生成效率，还直接决定模型的上下文容量。所谓上下文窗口（Context Window），即模型单次推理所能处理的最大 Token 总数。以 32K 上下文窗口为例，实际可用空间需扣除系统指令、历史对话、工具定义、RAG 检索结果等多类输入。某次请求若已占用 24K Token，则剩余仅 8K 可用于新输入与输出。

这也是为何用户与 AI 聊得越久，模型越易遗忘早期信息——并非记忆衰减，而是旧内容已被挤出窗口。同样，上传长文档时，模型常需分块处理，本质是受限于上下文长度。Token 计费模式（如 OpenAI API）进一步凸显其经济意义：输入与输出 Token 均计入成本，一段简短回答可能因隐含的 prompt 或推理过程消耗数十倍于表面字数的 Token。

工程优化：从算法突破到推理效率提升

DeepSeek 在乌镇世界互联网大会提出的‘AGI 明天就来’主张，并非空谈加速，而是建立在底层算法优化之上。其通过新型注意力架构与强化学习方案，显著降低同等能力模型的训练与推理开销。这意味着：在算力资源有限前提下，更高效的 Token 处理与生成策略成为关键突破口。

近期决策模型的兴起，正是对自回归范式局限性的回应。JEV 与 Drex 等模型放弃‘生成答案文本’路径，转而构建专用输出头，将任务空间压缩至有限选项集，从根本上规避自由生成带来的噪声与延迟。这类模型虽尚未取代通用大模型，但在金融问答、考试判卷、代码审查等结构化决策场景中展现出显著优势。

结语

理解 Token 与自回归生成，是把握大模型推理本质的第一步。它解释了为何 AI 回答‘大海为何是蓝色’需要 19 步计算，也揭示了当前技术路线的效率天花板。随着决策模型、稀疏激活、KV Cache 优化等新方法落地，推理过程正从‘逐字生成’向‘目标导向’演进。未来的大模型，或将不再执着于模仿人类写作的连贯性，而更注重在特定任务中以最小计算代价达成准确输出。