强化学习算法地图解析，基于模型与不基于模型的分类逻辑

强化学习算法体系庞杂，初学者常因术语繁复而难以建立整体认知。实际上，其核心分类逻辑可归结为一个关键问题：是否依赖环境模型？这一划分不仅结构清晰，也直接决定了算法的设计思路与适用边界。

所谓环境模型，即对环境动态规则的显式建模，包含两个要素：状态转移概率 p(s′|s,a) 与即时奖励函数 r(s,a)。它相当于一份“说明书”，允许智能体在不实际执行动作的前提下，推演“若在状态 s 执行动作 a，将到达何处、获得多少奖励”。例如，在三格走廊任务中，环境模型可整理为一张确定性表格：s₁ 向左仍停留 s₁ 并获 -1 分，s₃ 向右则进入充电座并获 +10 分。有了该模型，即可通过贝尔曼方程直接计算最优动作价值 Q*(s₂,→) = -1 + 0.9×10 = 8，无需真实交互。

基于此，强化学习算法地图的第一刀便落在“是否使用环境模型”上，分为左右两大分支：左侧为基于模型（model-based）方法，右侧为不基于模型（model-free）方法。

在基于模型一侧，算法进一步按模型来源与使用方式细分。若环境规则已知（如仿真环境或可控实验），可直接采用动态规划（Dynamic Programming）类方法，包括策略迭代与价值迭代，通过求解贝尔曼方程组获得最优策略。但当状态空间庞大时，穷举式求解不可行，此时需引入近似手段，如蒙特卡洛树搜索（MCTS）——AlphaGo 的核心组件之一，即通过构建搜索树模拟大量可能路径，以统计优势指导决策。另一类是模型需从经验中学习的情形，典型代表为 Dyna 架构：智能体一边与真实环境交互收集数据，一边用这些数据训练一个内部环境模型；随后在“想象”中反复推演（planning），将规划所得经验回传至策略更新模块，实现“边学模型、边用模型”的闭环。

不基于模型的方法则完全跳过建模环节，直接从试错经验中学习。其内部再按学习目标细分为三类：

第一类是基于价值的方法，目标是估计状态价值 V(s) 或动作价值 Q(s,a)，再依此选择最优动作。代表性算法包括蒙特卡洛方法（Monte Carlo）、时序差分学习（TD）、Sarsa 与深度 Q 网络（DQN）。其中 DQN 将 Q-learning 与深度神经网络结合，成功应用于 Atari 游戏等高维感知任务，成为深度强化学习的里程碑。

第二类是基于策略的方法，直接参数化策略 π_θ(a|s)，通过梯度上升最大化期望回报。策略梯度定理提供了理论基础，而 REINFORCE 算法是其最朴素实现；后续改进如 Actor-Critic 框架引入 critic 网络估计价值以降低方差，PPO（近端策略优化）则通过裁剪机制提升训练稳定性，已成为当前主流策略优化算法。

第三类是演员-评论家（Actor-Critic）混合架构，同时学习策略（演员）与价值函数（评论家），兼顾策略搜索效率与训练稳定性。A2C、PPO、SAC（软演员-评论家）均属此类，其中 SAC 在连续控制任务中表现尤为突出，因其引入最大熵正则化，鼓励探索并提升策略鲁棒性。

值得注意的是，“模型”一词在强化学习语境中专指环境动态模型，与当前流行的“大语言模型”无直接关联。一个算法是否“基于模型”，取决于它是否显式建模环境转移与奖励机制; 即使使用神经网络拟合模型（如 Dreamer、MB-MPO），只要其核心依赖于对环境的前向预测，仍属 model-based 范畴。

从工程实践角度看，两类路径各有优劣。基于模型方法在样本效率上显著占优——因可在虚拟环境中无限次推演，适合数据昂贵或风险高的场景（如机器人控制、自动驾驶仿真训练）；但其性能高度依赖模型精度，模型失真将导致策略失效。不基于模型方法虽需大量交互数据，却对环境假设更鲁棒，尤其适合黑盒系统或高维感知输入场景，近年来随算力提升与算法改进（如经验回放、目标网络）已大幅缓解样本效率问题。

近年来，两类路径呈现融合趋势。例如 AlphaGo Zero 完全摒弃人类棋谱，仅靠自我对弈生成数据，既训练策略网络也训练价值网络，同时隐式构建了围棋规则的“内部模型”；而 MBMF（Model-Based Model-Free）混合框架则显式组合两者优势，在 Mujoco 控制任务中实现更快收敛与更高最终性能。

回到最初的小型走廊案例：若机器人自带环境说明书（即已知模型），它可静坐推演得出“一路向右”为最优路径；若无说明书，则需反复尝试、记录每步得分，逐步修正判断——前者是规划，后者是学习。这种二分法不仅是教学工具，更是理解现代强化学习系统设计的钥匙。

随着强化学习向现实世界迁移，如何平衡模型精度与学习效率、如何在部分可观测或非平稳环境中构建可靠模型, 仍是前沿挑战。但无论技术如何演进，以环境模型为轴心的算法地图，始终为研究者提供清晰的认知坐标。