广义优势估计（GAE）：PPO算法的核心技术与数学深度解析

广义优势估计（GAE）：PPO算法的核心技术与数学深度解析

摘要

广义优势估计（Generalized Advantage Estimation, GAE）是强化学习算法中的关键技术，特别是在近端策略优化（PPO）中发挥着核心作用。本文从基础概念出发，深入探讨GAE的数学原理、推导过程、实现细节及其在偏差-方差权衡中的重要作用。

1. 引言：优势函数的重要性

在强化学习中，评估动作质量是策略优化的核心问题。传统的动作价值函数$Q(s,a)$虽然直接，但缺乏相对比较的视角。优势函数的概念应运而生：

$$A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$$

其中$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi }[Q^{\pi }(s,a)]$是状态价值函数，代表在状态$s$下遵循策略$\pi$的期望回报。

优势函数$A(s,a)$提供了关键洞察：

• $A(s,a)>0$：动作$a$优于平均水准
• $A(s,a)<0$：动作$a$劣于平均水准
• $A(s,a)=0$：动作$a$处于平均水准

使用优势函数作为策略梯度权重，相比原始回报能显著降低方差并提高训练稳定性。

2. GAE的由来：偏差-方差权衡问题

2.1 优势估计的两种极端方法

1.偏差与方差
在强化学习中，​​价值函数估计​​的质量直接影响到策略学习的效果。估计方法需要在​​偏差​​和​​方差​​之间进行权衡：
​​偏差​​：估计值的期望与真实值之间的差异，会导致收敛到次优策略
​​方差​​：估计值的波动程度，会导致训练不稳定和样本效率低下

2. 真实估计
$$A_t^{true}=Q(s_t,a_t)-V(s_t)$$

3. 时序差分（TD）估计（单步）
$$A_t^{(1)}={\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$$

特点：方差低（仅涉及一步随机性），但偏差高（依赖$V$函数的准确性）
直观理解：用与环境的单步交互获得的即时奖励+未来奖励[ $r$+$\gamma V(s_{t+1})$ ]来估计真实的动作价值$Q$（用单个样本的值估计真实期望），这个估计值依赖于$V(s_{t+1})$的准确性，可能估计得很不准确，导致估计值与真实值之间的偏差大，然而由于只走了一步，所以这个估计值r_t + \gamma V(s_{t+1}) 与现有的$V(s_t)$之间的差值不会太大，所以方差小

4. 蒙特卡洛（MC）估计（轨迹）
$$A_t^{MC}=G_t-V(s_t)=\sum _{l=0}^{\infty }{\gamma }^l{r}_{t+l}-V(s_t)$$

特点：偏差低（使用实际回报$G_t$），但方差高（依赖整个轨迹的随机性）
直观理解：用与环境的一整个回合的交互获得累计折扣回报$G_t$来估计真实的动作价值$Q$（用整个回合的样本均值估计真实期望），这个估计值是比较准确的，所以估计值与真实值之间的偏差小，然而，可能出现有的回合很快到达目标所以获得了高奖励，有的回合走了很长的弯路或者陷阱后才到达目标所以获得的奖励比较低，有的回合可能到达不到目标点一直在陷阱附近徘徊所以获得了负奖励，由于只走一整个回合的时间步最后得到的累计折扣回报的值在上述3种情况下会差距很大，所以这个估计值$G_t$与现有的$V(s_t)$之间的差值可能也会很大，所以方差就大了

2.2 偏差-方差的数学分析

单步TD的偏差来源：
$$\mathbb{E}[{\hat{A}}_t^{(1)}-A_t]=\mathbb{E}[r_t+\gamma V(s_{t+1})-Q(s_t,a_t)]$$

由于$V$函数估计不完美，导致系统性偏差。

蒙特卡洛的方差来源：
$$\text{Var}(A_t^{MC})=\text{Var}\left(\sum _{l=0}^{\infty }{\gamma }^l{r}_{t+l}\right)$$

多步随机变量的累积导致方差急剧增大。

2.3 小结

为了平衡 偏差和方差，Schulman 等人在 2016 年提出了 Generalized Advantage Estimation (GAE) 方法，它是一种在偏差和方差之间权衡的优势函数估计方法，被广泛应用于强化学习中的近端策略优化（PPO）等算法。

3. GAE的数学推导

3.1 n步优势估计

定义n步优势估计：
$$A_t^{(n)}=\sum _{l=0}^{n-1}{\gamma }^l{\delta }_{t+l}={\delta }_t+\gamma {\delta }_{t+1}+\cdots +{\gamma }^{n-1}{\delta }_{t+n-1}$$

3.2 GAE的核心思想

GAE将不同n步估计进行指数加权平均：
$$A_t^{GAE}=(1-\lambda )(A_t^{(1)}+\lambda A_t^{(2)}+{\lambda }^2{A}_t^{(3)}+\cdots )$$

3.3 数学推导过程

将n步估计代入定义：
$$A_t^{GAE}=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}\sum _{l=0}^{n-1}{\gamma }^l{\delta }_{t+l}$$

交换求和顺序：
$$A_t^{GAE}=(1-\lambda )\sum _{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}\sum _{n=l+1}^{\infty }{\lambda }^{n-1}$$

计算内层几何级数：
$$\sum _{n=l+1}^{\infty }{\lambda }^{n-1}=\frac{{\lambda }^l}{1-\lambda }$$

代入化简得GAE最终形式：
$$A_t^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

编码实现的常用形式为：
$$A_t^{GAE(\gamma ,\lambda )}={\delta }_t+(\gamma \lambda )A_{t+1}^{GAE(\gamma ,\lambda )}$$

4. λ参数的作用机制

4.1 λ的物理意义

λ控制着信用分配的时间尺度：

• λ → 0：$A_t^{GAE}={\delta }_t$，仅考虑即时TD误差
• λ → 1：$A_t^{GAE}={\sum }_{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}$，考虑整个轨迹
• 0 < λ < 1：平滑过渡，近期TD误差权重更大

4.2 λ的实践选择

5. GAE的计算实现

5.1 高效反向计算算法

import numpy as np

def calculate_gae(rewards, values, dones, gamma=0.99, lam=0.95):
    """
    计算广义优势估计（GAE）
    
    Args:
        rewards: 奖励序列 [r0, r1, ..., r_{T-1}], 形状 (T,)
        values: 状态价值估计 [V(s0), V(s1), ..., V(sT)], 形状 (T+1,)
        dones: 终止标志 [d0, d1, ..., d_{T-1}], 形状 (T,)
        gamma: 折扣因子
        lam: GAE参数
        
    Returns:
        advantages: 优势估计, 形状 (T,)
        returns: 目标回报, 形状 (T,)
    """
    T = len(rewards)
    advantages = np.zeros(T)
    gae = 0.0
    
    # 从后往前计算
    for t in reversed(range(T)):
        if dones[t]:
            # 终止状态：没有下一个状态
            delta = rewards[t] - values[t]
            gae = delta  # 终止状态后优势不传播
        else:
            # 非终止状态
            delta = rewards[t] + gamma * values[t+1] - values[t]
            gae = delta + gamma * lam * gae
        
        advantages[t] = gae
    
    # 计算目标回报（用于Critic训练）
    returns = advantages + values[:T]
    
    return advantages, returns