深度增强学习PPO（Proximal Policy Optimization）算法源码走读

PPO通过剪切机制和重要性采样，在保证训练稳定性的同时实现高效优化，适用于复杂连续控制任务（如机器人控制、游戏AI）。

提出了一系列用于强化学习的新策略梯度方法，它们通过与环境的交互在采样数据和使用随机梯度上升优化“代理”目标函数之间交替。鉴于标准策略梯度方法对每个数据样本执行一次梯度更新，我们提出了一种新的目标函数，可以实现多个时期的小批量更新。我们称之为近端策略优化 (PPO) 的新方法具有信赖域策略优化 (TRPO) 的一些优点，但它们实施起来更简单、更通用，并且具有更好的样本复杂性（根据经验）。

2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five，并且经过多年的开发训练后战胜了当时的世界冠军团队OG，技术细节可以看发表的论文。OpenAI Five的核心算法是PPO，一种称为近端策略优化的算法，属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心，PPO也成为使用强化学习解决各类问题的一个基准算法。 PPO属于策略梯度算法，即通过求解强化学习问题中目标函数的梯度，利用梯度提升的方法训练强化学习智能体。这

actor网络即策略网络，输入state，输出action概率，使用Categorical生成动作分布。critic网络即值网络，输入state，输出state-value。（4）更新估计状态值函数得到critic loss。（2）获取每个mini batch更新后的新策略。（3）执行clip操作得到actor loss。（1）计算GAE优势函数。（5）反向传播更新参数。......

命令行传入 webui train对应，文件中搜索train找到TRAIN对应方法点击查询“PPO”，点击run_ppo()点击ref_model可以看到ref_model有过二次加载继续找ref_model点击CustomPPOTrainer主要步骤在step方法里，搜索step(PPO 的 Step 方法指其训练流程中的核心步骤，通过 策略交互、优势估计、策略优化 实现稳定学习。对于第五步，trainer.py有第四个模型：：通过训练参数（如。

笔者在强化学习的道路上看来很多书，看了很多代码，和很多大佬的博客，只是很多都是侧重一个方面，所以我在吸取百家之长后，决定完完整整的写一回PPO从算法理论到逐行代码手敲和详解的文章。

来自：大猿搬砖简记大家好，最近我又读了读RLHF的相关paper和一些开源实践，有了一些心得体会，整理成这篇文章。过去在RLHF的初学阶段，有一个问题最直接地困惑着我：如何在NLP语境下理解强化学习的框架？例如，我知道强化学习中有Agent、Environment、Reward、State等要素，但是在NLP语境中，它们指什么？语言模型又是如何根据奖励做更新的？为了解答这个问题，我翻阅了很多资料，...

智能体（Agent）与环境（Environment）强化学习中两个实体的交互：状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R**：** R即为Reward，指智能体在环境的某一状态下所获得的奖励。以上图为例，智能体与环境的交互过程如下：在t时刻，环境的状态为StS_{t}St​，达到这一状态所获得的奖励为RtR_{t}Rt​智能体观测到StS_{t}St​与RtR_{t}Rt​，采取相应动作。

智能体（Agent）与环境（Environment）状态空间S：S即为State，指环境中所有可能状态的集合动作空间A：A即为Action，指智能体所有可能动作的集合奖励R：R即为Reward，指智能体在环境的某一状态下所获得的奖励。在ttt时刻，环境的状态为StS_tSt​，达到这一状态所获得的奖励为RtR_tRt​智能体观测到StS_tSt​与RtR_tRt​，采取相应动作AtA_tAt​智能体采取AtA_tAt​后，环境状态变为St1。

阅读PPO相关的源码，了解一下标准库是如何建立PPO算法以及各种tricks的，以便于自己的复现。在Pycharm里面一直跳转，可以看到PPO类是最终继承于基类，也就是这个py文件的内容。所以阅读源码就先从这里开始。: )

从零开始学习PPO算法编程（pytorch版本）_melody_cjw的博客-CSDN博客_ppo算法 pytorch 从零开始学习PPO算法编程（pytorch版本）（二）_melody_cjw的博客-CSDN博客_ppo pytorch从零开始学习PPO算法编程（pytorch版本）（三）_melody_cjw的博客-CSDN博客_ppo pytorch ........................

PPO算法之所以被提出，根本原因在于在处理连续动作空间时取值抉择困难。取值过小，就会导致深度强化学习收敛性较差，陷入完不成训练的局面，取值过大则导致新旧策略迭代时数据不一致，造成学习波动较大或局部震荡。除此之外，因为在线学习的性质，进行迭代策略时原先的采样数据无法被重复利用，每次迭代都需要重新采样；同样地置信域策略梯度算法虽然利用重要性采样、共轭梯度法求解提升了样本效率、训练速率等，但在处理函数的二阶近似时会面临计算量过大，以及实现过程复杂、兼容性差等缺陷。而PPO算法具备。

系列文章目录 强化学习 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、强化学习是什么？二、核心算法(深度强化学习) DQN1.什么是DQN?总结 前言 强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题 。 一、强化学习是什么？ 强化学习是智能体（Agent）以“试错”的方式

PPO算法是一种强化学习中的策略梯度方法，它的全称是Proximal Policy Optimization，即近端策略优化1。PPO算法的目标是在与环境交互采样数据后，使用随机梯度上升优化一个“替代”目标函数，从而改进策略。PPO算法的特点是可以进行多次的小批量更新，而不是像标准的策略梯度方法那样每个数据样本只进行一次梯度更新12。PPO算法有两种主要的变体：PPO-Penalty和PPO-Clip。

强化学习之PPO算法

原文：你会PPO算法吗？那这些问题你知道答案吗？

零基础理解PPO算法