（9-2）离线强化学习：离线强化学习的主流方法

9.2  离线强化学习的主流方法：约束策略优化

离线强化学习的主流方法体系主要包括约束策略优化、基于不确定性的方法和模仿正则化三大类。这些方法各有优势，通常需要根据具体任务和数据特性选择或组合使用。在本节的内容中，首先介绍约束策略优化方法的知识

9.2.1  常用的约束策略优化方法介绍

约束策略优化是离线强化学习中的一种重要方法，旨在通过限制策略的分布或动作选择范围，避免学习策略对未见“状态-动作”对的过度乐观估计，从而提高策略的稳定性和性能。下面是几种主流的约束策略优化方法的详细介绍。

1. BCQ（Batch-Constrained Deep Q-Learning）