大模型训练中的反向传播与优化器，从梯度计算到参数更新的完整链条

大模型训练的核心目标是让模型学会预测下一个token，这一过程通过交叉熵损失函数量化预测误差。但损失值本身无法指导模型改进——它只告诉“错了多少”，而非“怎么改”。真正驱动模型进化的，是反向传播与优化器构成的闭环：前者精确计算损失对每个参数的梯度，后者据此决定参数如何调整。

梯度是理解整个训练流程的钥匙。在单变量函数中，导数表示函数在某点的斜率；推广到多变量场景，梯度即所有偏导数组成的向量，反映损失对各参数的敏感程度。以简单损失函数L(w₁, w₂) = w₁² + 3w₂为例，在点(w₁=1, w₂=2)处，梯度为(2, 3)，意味着w₁每减小1单位，损失下降2；w₂每减小1单位，损失下降3。直观而言，梯度指向损失上升最快的方向，因此参数应沿其反方向微调以降低损失。

然而，真实大模型包含数十亿参数，损失函数是层层嵌套的复合函数，直接求导不可行。反向传播正是解决此问题的高效算法，其数学基础是链式法则：复合函数的导数等于各层局部导数的连乘。现代深度学习框架将前向计算组织为计算图，每个节点代表一次基本运算（如加法、乘法），边表示中间值传递。前向阶段记录整张图，反向阶段则从损失节点出发，逆向遍历图结构，逐节点计算局部导数并累乘，最终得到所有叶子节点（即模型参数）的梯度。

图示为一个极简计算图：输入a=3、b=2、c=1，经d=a×b=6、f=d+c=7完成前向；反向时，从f开始，∂f/∂d=1、∂f/∂c=1，再乘以∂d/∂a=b=2、∂d/∂b=a=3，得∂f/∂a=2、∂f/∂b=3、∂f/∂c=1。这一过程可无缝扩展至含Transformer层的大型网络——尽管路径更长、节点更多，但原理完全一致。

梯度计算完成后，优化器负责将梯度转化为实际的参数更新。最基础的随机梯度下降（SGD）仅用梯度反方向乘以学习率：w ← w − η·∇L。但实践中，单纯SGD易陷入局部极小或震荡，因此衍生出带动量（Momentum）、自适应学习率（如Adam）等策略。Adam结合了动量项与二阶矩估计，能动态调整各参数的学习步长，在大模型训练中成为事实标准。

值得注意的是，梯度信息的质量直接影响训练稳定性与收敛效率。近期关于大模型后训练量化的研究进一步凸显了这一点。以GPTQ为代表的方法通过Hessian矩阵估算权重扰动对输出的影响，并利用未量化层补偿已量化层的误差。但该方法假设模型处于收敛点，忽略了一阶梯度项，即当前参数偏离最优解的程度。后续工作FOEM尝试引入梯度修正，却因采用一阶泰勒近似而在KL散度等非均方误差目标下产生偏差。

更深层的问题在于“信息过时”：全局优化类方法通常在量化前一次性计算Hessian矩阵，随后全程复用。然而量化是逐步进行的——当第10层被量化时，前9层权重已改变，模型状态早已不同于初始状态，但补偿所依据的“地图”仍是旧版。这如同按过期导航行驶，极易导致累积误差失控。

图中三维曲面表示损失函数L(w₁, w₂)=w₁²+3w₂，点P(1,2,7)处梯度∇L=(2,3)指向损失上升最快方向；沿反方向移动可快速抵达低谷。该可视化揭示了梯度作为“下降指南针”的物理意义：它不保证直达全局最小值，但确保每一步都朝局部最优方向前进。

在超大规模训练中，反向传播还面临显存与通信瓶颈。为缓解显存压力，激活重计算（activation recomputation）技术选择性丢弃部分中间结果，反向时重新计算；而分布式训练中，梯度需跨设备同步，All-Reduce等通信原语的设计直接影响训练吞吐。此外，混合精度训练（如FP16+FP32）通过减少数据位宽加速计算，但需配合损失缩放（loss scaling）防止梯度下溢，这也依赖对梯度尺度的精准把握。

优化器本身也在持续演进。除Adam外，Lion、Sophia等新型优化器尝试用符号梯度（sign of gradient）或二阶信息近似提升收敛速度；而针对LLM特有的长序列建模挑战，一些研究提出分层学习率调度，对Embedding层、Attention层、FFN层施加不同更新强度。

回看整个训练链条：前向传播生成预测与损失，反向传播基于链式法则高效求取梯度，优化器将梯度转化为参数更新——三者环环相扣。其中，反向传播解决了“算得动”的问题，优化器解决了“走得稳”的问题。二者协同，使数十亿参数的模型能在合理时间内逼近最优解。

随着模型规模持续扩大，对梯度计算效率与优化策略鲁棒性的要求也日益提高。未来方向可能包括：更轻量级的二阶近似方法、面向稀疏激活的梯度压缩、以及结合神经架构搜索的自适应优化器设计。但无论技术如何迭代，反向传播与优化器作为训练引擎的“双轮”，其核心地位短期内不会动摇。