用 Gaussian Process 建模 state-action 空间相关性，加速 Multi-Fidelity RL-Toy模板网

这篇具有很好参考价值的文章主要介绍了用 Gaussian Process 建模 state-action 空间相关性，加速 Multi-Fidelity RL。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

全文快读
1 intro
3 背景
4 method
- 4.1 model-based 算法：GP-VI-MFRL
- 4.2 model-free 算法：GPQ-MFRL
5 experiment
6 讨论与展望

全文快读

题目：Multi-fidelity Reinforcement Learning With Gaussian Processes: Model-Based and Model-Free Algorithms
链接：https://ieeexplore.ieee.org/abstract/document/9069479
IEEE Robotics & Automation Magazine 是 robotics 顶刊。
main idea：
- 基于 14 年的最初的那篇 MFRL 论文（本站博客），
- 利用相邻 state-action 的空间相关性来加速学习，用 gaussian processes 建模 env dynamics（model-based）/ Q function（model-free），从而得到 model-based model-free 两种 MFRL 算法。
- 算法结构跟 14 年的 MFRL 基本一致。
全文没有数学证明。

1 intro

利用相邻 state-action 的空间相关性来加速学习：通过 Gaussian Process（GP）作为函数逼近器。
主要贡献：两个算法。
- model-based MFRL 算法 GP-VI-MFRL，估计转换函数，然后使用 value iteration 计算最优策略。
- model-free MFRL 算法 GPQ-MFRL，直接估计最优 Q 值以及随后的最优策略。

3 背景

高斯过程：https://www.zhihu.com/question/46631426
GP 被证明是 RL 中具有收敛保证的一致函数逼近器。

4 method

4.1 model-based 算法：GP-VI-MFRL

用 Gaussian Process 建模 state-action 空间相关性，加速 Multi-Fidelity RL

结构：包括 1 model learner、2 planner。
- model learner 使用 GP regression 学 env transition： s_{t+1} = f(s_t,a_t)，使用高斯分布的形式。
- 使用 value iteration 作为 planner，用学到的 env transition 计算出最优策略。
算法：
- 在执行一个 action 前，agent 检查（第 8 行）它是否对当前 state-action pair 在前一个模拟器 Σi-1 中的 transition function 有足够准确的估计（方差小于 σ_th）。
  - 如果不是，并且如果当前环境中的 transition model 发生了变化，它就会切换到 Σi-1，并在 Σi-1 中执行 action 。
- 跟踪当前模拟器中，最近访问的 L 个 state-action 对的方差。若方差和低于阈值 σ_th^sum（第 15 行），表明 agent 对当前模拟器很有信心，可以推进到下一个模拟器。
  - 在最初的工作中 [2]，agent 遇到一定数量的已知 state-action 对后，就会切换到更高保真度的模拟器。
- （第 7 行）如果一个 state-action pair 的后验方差下降到阈值 σ_th 以下（即 agent 对该 transition 有足够准确的估计），当前环境的模型就会改变，即 change = TRUE。
- 第 10 - 13 行描述了算法的主体， agent 执行贪婪地选择的 action（第 6 行），并在 Di 中记录观察到的 transition （第 11 行）。 transition function 的 GP 模型在每一步之后被更新（第 12 行）。每次更新 transition function 后，都会计算新的 Q 值估计（第 13 行）。
  - 对每个模拟器，使用一个单独的 GP 来估计它的 transition function 。
- 终止条件（第 5 行）：步数限制、价值函数的变化、最大的 env 切换次数…
- planner 利用上级（第 26 - 28 行）和下级模拟器（第 25 行）的转换知识，鼓励当前模拟器的探索。
  - 对于每一个 state-action pair (s,a)，planner 寻找最大保真度的模拟器（第 26 行遍历所有模拟器），这个模拟器对 (s,a) 的 transition 有一个已知的估计（第 28 行），使用这个估计在当前模拟器中进行规划（第 28 行）。
    - 如果方差低于一个阈值，那么一个估计值就被称为“已知”。
  - 如果没有这样的模拟器，那么它就使用在前一个模拟器中学到的 Q 值，再加上一个保真度参数 β（第 25 行），这个参数是连续的模拟器中最佳 Q 值之间的最大可能差异。
- 必须进行状态空间离散化，以规划 action 。然而，学到的 transition function 是连续的。

4.2 model-free 算法：GPQ-MFRL

直接使用 GPs 学习最佳 Q 值，而非学习 env model。
- 基本假设：附近的 state-action pair 产生类似的 Q 值。
- GPs 使用 squared-exponential kernel。
- 同样，每个模拟器使用单独的 GP。
算法：
- 使用类似的阈值（σ_th 和 σ_th^sum）来确定何时切换到低保真或高保真模拟器。
- GPQ-MFRL 检查 agent 在前一个模拟器中是否对最佳 Q 值有足够准确的估计（第 8 行），如果没有，切换到前一个模拟器。
- 第 10 - 15 行描述了算法的主体，agent 将 transition 存入 Di（第 11 行），然后为每个 Di 中的 transition 更新目标值（第 14 行）（batch training）。GP 模型在每一步后被更新（第 16 行）。
- agent 利用在上级模拟器中收集的经验（第 25 - 27 行）来选择当前模拟器中的最佳行动（第 6 行），利用最高已知 Q 值（(s,a) 的后验方差小于阈值 σ_th）的模拟器（第 27 行），来选择当前模拟器的下一个动作。
  - 如果不存在这样的高保真模拟器，则使用低一层模拟器的 Q 值（第 24 行），使用保真度参数 β。
- 每当 agent 在模拟器中收集到新的样本时，GPQ-MFRL 就会进行一次 batch re-training（第 13 - 15 行），使用新样本的知识，更新以前训练数据的 y 值。
- 然后，用这些更新的 y 值，来训练 GPs 形式的 Q 值（第 16 行）。
  - 更新 GP 的计算成本是数据量的三次方；然而，我们可以使用稀疏 GP 技术 [6] 对数据集进行修剪，即，只用一小部分数据来 fit GP。
- 不容易选择置信度界限的值。在目前的实验中，我们选择 σ_th^sum 为可能的最大 Q 值的 10%，σ_th 为 σ_th^sum 的 1/5。

5 experiment

写的蛮清楚的。
GP-MFRL 比 14 年最初的 MFRL 效果更好（用的 high-fidelity 样本更少）。
GP-VI-MFRL（model-based）在训练最开始时比 GPQ-MFRL（model-free）表现更好，与传统 RL 经验一致，即 model-based＞model-free。

6 讨论与展望

未来可以将 MFRL 技术与 sim2real 方法进行比较 [1]。
- 与 sim2real 不同的是，MFRL 技术明确决定何时在模拟器之间切换，并使用两层以上的模拟器。
- 或许可以将这两个想法结合起来：使用 MFRL 来利用一些更便宜 / 更快的模拟器；使用参数化的模拟器，来引入领域适应 / 随机化（domain adaptation/randomization），以获得更好的 generalization。
可改进的地方：在目前的方法中，进行 GP 回归时，来自不同模拟器的数据没有结合起来。
- 1 使用多任务 GPs，它可以同时产生多个输出，分别对应于每个保真度模拟器。
- 2 使用 deep GP ，将不同保真度的数据拿来训同一个 NN。
- 对以上两种情况，我们希望直接学习不同环境下的数值之间的相关性。

文章来源地址https://www.toymoban.com/news/detail-415299.html

到了这里，关于用 Gaussian Process 建模 state-action 空间相关性，加速 Multi-Fidelity RL的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！