网通社科技快报
神经网络演进全图谱 从单神经元到Transformer的7大关键跃迁
神经网络作为深度学习基石，本质是可自动调参的非线性函数映射系统。其演进始于单个神经元：输入加权求和后叠加偏置，经ReLU等激活函数输出，引入非线性以支持复杂模式拟合。训练依赖监督循环——前向传播得预测，损失函数量化误差，反向传播用链式法则计算梯度，优化器更新参数；推理阶段仅执行前向计算。深层网络面临梯度消失/爆炸问题，实践中通过ReLU激活、Xavier/He初始化与批量归一化协同缓解。
卷积神经网络（CNN）专为图像设计，以共享权重的滑动滤波器提取局部特征，随层数加深感受野扩大，实现从边缘纹理到物体部件的层级抽象，解决全连接网络参数爆炸与空间信息丢失问题。
递归神经网络（RNN）通过隐藏状态sₜ = f(Wₓxₜ + Wₛsₜ₋₁ + b)建模序列，具备记忆能力但受限于时间维度梯度衰减；LSTM与GRU引入门控机制选择性保留信息，显著提升长程依赖建模能力。
注意力机制成为关键转折：摒弃隐状态传递，直接计算输入各位置对当前输出的贡献权重，公式为Attention(Q,K,V)=softmax(QKᵀ/√dₖ)V，支持并行计算与动态聚焦。该机制催生Transformer架构——完全基于自注意力与前馈网络堆叠，推动BERT、GPT等大语言模型发展，将神经网络应用从感知拓展至生成与推理。
从神经元到Transformer，七步演进清晰体现“高效特征提取”与“稳健参数学习”两大主线：CNN解决空间局部性，RNN应对时序依赖，Attention补足长距关联与并行瓶颈，每代架构均在前人基础上补短板、铺新路。当前稀疏激活、量化训练等工程优化持续提升效率性能平衡，初学者掌握核心原理与设计动机比死记公式更具长期价值。
卷积神经网络（CNN）专为图像设计，以共享权重的滑动滤波器提取局部特征，随层数加深感受野扩大，实现从边缘纹理到物体部件的层级抽象，解决全连接网络参数爆炸与空间信息丢失问题。
递归神经网络（RNN）通过隐藏状态sₜ = f(Wₓxₜ + Wₛsₜ₋₁ + b)建模序列，具备记忆能力但受限于时间维度梯度衰减；LSTM与GRU引入门控机制选择性保留信息，显著提升长程依赖建模能力。
注意力机制成为关键转折：摒弃隐状态传递，直接计算输入各位置对当前输出的贡献权重，公式为Attention(Q,K,V)=softmax(QKᵀ/√dₖ)V，支持并行计算与动态聚焦。该机制催生Transformer架构——完全基于自注意力与前馈网络堆叠，推动BERT、GPT等大语言模型发展，将神经网络应用从感知拓展至生成与推理。
从神经元到Transformer，七步演进清晰体现“高效特征提取”与“稳健参数学习”两大主线：CNN解决空间局部性，RNN应对时序依赖，Attention补足长距关联与并行瓶颈，每代架构均在前人基础上补短板、铺新路。当前稀疏激活、量化训练等工程优化持续提升效率性能平衡，初学者掌握核心原理与设计动机比死记公式更具长期价值。