强化学习算法地图解析 基于模型与无模型路径差异及融合趋势

强化学习算法体系虽庞杂，但核心分类逻辑清晰：是否依赖环境模型——即对状态转移概率p(s′|s,a)与奖励函数r(s,a)的显式建模。基于此分为两大路径：左侧为基于模型（model-based）方法，右侧为无模型（model-free）方法。

在基于模型路径中，若环境规则已知（如仿真环境），可采用动态规划类算法，包括策略迭代与价值迭代，通过贝尔曼方程直接求解最优策略；面对高维空间，则引入蒙特卡洛树搜索（MCTS），如AlphaGo所用；当模型需从经验学习时，Dyna架构实现“边交互、边建模、边规划”的闭环。典型案例如三格走廊任务：已知模型下，智能体可推演得出Q*(s₂,→)=8，无需真实交互。

无模型路径跳过建模，直接从试错中学习，细分为三类：一是基于价值方法（如MC、TD、Sarsa、DQN），其中DQN结合深度网络成功应用于Atari游戏；二是基于策略方法（如REINFORCE、Actor-Critic、PPO），PPO因裁剪机制成为主流；三是混合架构如A2C、SAC，后者引入最大熵正则化提升连续控制任务表现。

两类方法各有优劣：基于模型样本效率高，适合数据昂贵场景，但依赖模型精度；无模型对黑盒环境更鲁棒，近年借经验回放、目标网络等技术显著改善样本效率。当前趋势为融合，如AlphaGo Zero隐式构建内部模型，MBMF框架显式组合两者，在Mujoco任务中实现更快收敛与更高性能。随着强化学习向现实迁移，模型可靠性与学习效率的平衡仍是关键挑战。