TRPO
如何看懂TRPO里所有的数学推导细节? - 小小何先生的回答 - 知乎
参考资料 Safe Reinforcement Learning
安全/约束强化学习路线图（Safe RL Roadmap）编辑于 2023-05-06
知乎 南山张学有
Safe RL 的一点点总结编辑于 2021-04-25
1.CPO
2.RCPO
3.CPPO-PID
4.SafeLayer+DDPG
5.Safety-Gym
【安全强化学习· 一】Safe Reinforcement Learning（一）2020
Constrained reinforcement learning
constrained markov decision processes
PKU-Alignment/Safe-Policy-Optimization 作者就是CUP的作者，杨耀东团队
NeurIPS 2023: Safe Policy Optimization: A benchmark repository for safe reinforcement learning algorithms
PKU-MARL/OmniSafe github
PKU-MARL/OmniSafe 作者就是CUP的作者，杨耀东团队
OpenAI/safety-starter-agents github
环境
gymnasium
safety-gym openai网页
Benchmarking Safe Exploration in Deep Reinforcement Learning, Ray et al, 2019.
safety-gymnasium文档
Bullet-Safety-Gym
安装教程：
Win 10、Win 11 安装 MuJoCo 及 mujoco-py 教程
日期：20240118
操作系统：Windows 10
python版本：3.8.18
mujoco版本：mjpro150
mujoco-py版本：1.50.1.0
gym版本：pip install gym==0.25.2
vs_buildtools_2017.exe
Cython.Compiler.Errors.CompileError: F:\Anaconda\envs\envpy38\lib\site-packages\mujoco_py-1.50.1.0-py3.8.egg\mujoco_py\cymj.pyxpip install Cython==3.0.0a10
安全强化学习简介
算法
| 算法 | 算法 | 类型 | 时间 | 会议 | 引用量 |
|---|---|---|---|---|---|
| CPO | 约束策略优化 | CPO-based 二阶 | 2017 | ICML | 1214 |
| RCPO | 奖励约束策略优化 | Primal-Dual | 2018 | ICLR | 452 |
| PCPO | 基于投影的约束策略优化 | CPO-based 二阶 | 2019 | ICLR | 188 |
| FOCOPS | 策略空间中的一阶约束优化 | CPO-based 一阶 | 2020 | NIPS | 87 |
| CRPO | 约束修正策略优化 | Lagrange | 2021 | ICML | 84 |
| CUP | 约束更新投影 | CPO-based 一阶 | 2022 | NIPS | 18 |
王雪松, 王荣荣, 程玉虎. 安全强化学习综述. 自动化学报, 2023, 49(9): 1813−1835 doi: 10.16383/j.aas.c220631
安全强化学习综述
2.2.2 信赖域法
约束型策略优化 (Constrained policy optimization, CPO)
基于投影的约束策略优化 (Projection-based constrained policy optimization, PCPO)
一阶约束优化方法 (First order constrained optimization in policy space, FOCOPS)
惩罚近端策略优化 (Penalized proximal policy optimization, P3O)
约束修正策略优化 (Constraint-rectified policy optimization, CRPO)
约束变分策略优化 (Constrained variational policy optimization, CVPO)
CPO 2017 ICML
CPO github
CPO omnisafe
知乎 南山张学有
Constrained Policy Optimization 上海交通大学 工学硕士
PCPO 2019 ICLR
PCPO omnisafe
FOCOPS 2020 NIPS
github代码
omnisafe代码
FOCOPS omnisafe
FOCOPS slideslive ★★★
FOCOPS slideslive 短
知乎 钟典鱼
CPO的问题
从当前策略获取样本轨迹时产生的错误。
泰勒近似引起的近似误差。
使用共轭法计算Fisher信息矩阵的逆矩阵会产生近似误差。
FOCOPS的优势
实现简单，只使用一阶近似。
简单的一阶法避免了泰勒法和共轭法引起的误差。
在实验中表现优于CPO。
不需要任何恢复步骤。
Two-stage Policy Update
∇
^
θ
L
π
(
θ
)
≈
1
B
∑
j
=
1
B
[
∇
θ
D
K
L
(
π
θ
∥
π
θ
′
)
[
s
j
]
−
1
β
∇
θ
π
θ
(
a
j
∣
s
j
)
π
θ
′
(
a
j
∣
s
j
)
(
A
^
j
−
ν
A
^
j
C
)
]
1
D
K
L
(
π
θ
∥
π
θ
′
)
[
s
j
]
≤
δ
\hat{\nabla}_\theta \mathcal{L}_\pi(\theta) \approx \frac{1}{B} \sum_{j=1}^B\left[\nabla_\theta D_{\mathrm{KL}}\left(\pi_\theta \| \pi_{\theta^{\prime}}\right)\left[s_j\right]-\frac{1}{\beta} \frac{\nabla_\theta \pi_\theta\left(a_j \mid s_j\right)}{\pi_{\theta^{\prime}}\left(a_j \mid s_j\right)}\left(\hat{A}_j-\nu \hat{A}_j^C\right)\right] \mathbf{1}_{D_{\mathrm{KL}}\left(\pi_\theta \| \pi_{\theta^{\prime}}\right)\left[s_j\right] \leq \delta}
∇^θLπ(θ)≈B1∑j=1B[∇θDKL(πθ∥πθ′)[sj]−β1πθ′(aj∣sj)∇θπθ(aj∣sj)(A^j−νA^jC)]1DKL(πθ∥πθ′)[sj]≤δ
CRPO 2021 ICML
omnisafe代码
CRPO slideslive
CRPO slideslive 短
知乎 钟典鱼
CUP 2022 NIPS
CUP github代码
CUP omnisafe
CUP omnisafe代码
强化学习 safe RL小综述 从TRPO出发 捋清CPO | CUP编辑于 2022-11-24
将GAE引入推导，得出了更紧的上下界
在具体的实现上做了改变，使得每次更新对计算资源的需求更小。文章来源：https://www.toymoban.com/news/detail-785003.html
Performance Improvement
L
π
,
i
m
p
r
o
v
e
(
θ
)
=
−
1
B
∑
j
=
1
B
min
{
π
θ
(
a
j
∣
s
j
)
π
θ
′
(
a
j
∣
s
j
)
A
^
j
,
c
l
a
m
p
(
π
θ
(
a
j
∣
s
j
)
π
θ
′
(
a
j
∣
s
j
)
,
1
−
ε
,
1
+
ε
)
A
^
j
}
{{\cal L}_{\pi, {\rm{improve}}}}(\theta ) = -\frac{1}{B}\sum\limits_{j = 1}^{B} {\min \left\{ {\frac{{{\pi _\theta }\left( {{a_j}\mid {s_j}} \right)}}{{{\pi _{{\theta ^{'}}}}\left( {{a_j}\mid {s_j}} \right)}}{{\hat A}_j},{\rm{clamp}}\left( {\frac{{{\pi _\theta }\left( {{a_j}\mid {s_j}} \right)}}{{{\pi _{{\theta ^{'}}}}\left( {{a_j}\mid {s_j}} \right)}},1 - \varepsilon ,1 + \varepsilon } \right){{\hat A}_j}} \right\}}
Lπ,improve(θ)=−B1j=1∑Bmin{πθ′(aj∣sj)πθ(aj∣sj)A^j,clamp(πθ′(aj∣sj)πθ(aj∣sj),1−ε,1+ε)A^j}
Projection
project the policy onto the safe constraint set
L
π
,
p
r
o
j
e
c
t
(
θ
)
=
1
B
∑
j
=
1
B
(
K
L
(
π
θ
′
′
(
⋅
∣
s
j
)
,
π
θ
(
⋅
∣
s
j
)
)
+
ν
k
1
−
γ
λ
1
−
γ
π
θ
(
a
j
∣
s
j
)
π
θ
′
′
(
a
j
∣
s
j
)
A
^
j
C
)
{{\cal L}_{\pi, {\rm{project}}}}(\theta ) = \frac{1}{B}\sum\limits_{j = 1}^B \left( {\mathop{\rm KL}\nolimits} \left( {{\pi _{{{\bf{\theta }}^{''}}}}\left( { \cdot \mid {s_{j}}} \right),{\pi _{\bf{\theta }}}\left( { \cdot \mid {s_{j}}} \right)} \right) + {\nu _k}\frac{{1 - \gamma \lambda }}{{1 - \gamma }}\frac{{{\pi _{\bf{\theta }}}\left( {{a_{j}}\mid {s_{j}}} \right)}}{{{\pi _{{{\bf{\theta }}^{''}}}}\left( {{a_{j}}\mid {s_{j}}} \right)}}\hat A_{j}^C \right)
Lπ,project(θ)=B1j=1∑B(KL(πθ′′(⋅∣sj),πθ(⋅∣sj))+νk1−γ1−γλπθ′′(aj∣sj)πθ(aj∣sj)A^jC)
文章来源地址https://www.toymoban.com/news/detail-785003.html
到了这里，关于安全强化学习笔记的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[当人工智能遇上安全] 9.基于API序列和深度学习的恶意家族分类实例详解](https://imgs.yssmx.com/Uploads/2024/02/763745-1.jpeg)
