【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面-Toy模板网

这篇具有很好参考价值的文章主要介绍了【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

只做学习记录，侵删原文链接

@article{peng2023energy,
title={Energy Harvesting Reconfigurable Intelligent Surface for UAV Based on Robust Deep Reinforcement Learning},
author={Peng, Haoran and Wang, Li-Chun},
journal={IEEE Transactions on Wireless Communications},
year={2023},
publisher={IEEE}
}

论文背景

研究目标

RIS每一个反射单元都由无源器件电容、电阻等构成，能耗小、成本低，能单独对信号进行反射。
UAV在动态密集的户外活动，如马拉松、音乐会等，提供按需通信服务有巨大潜力。
- 缺点：
RIS：静态部署，当服务覆盖范围中只有少量用户终端（UT）时，使用所有反射阵列进行信号传输可能导致资源浪费。
UAV：临时基站（BS）、辅助物联网（IoT），增强热点覆盖，但电池容量限制。
- 目标：这项工作是使无人机和智能反射面结合，旨在在有限的时间范围内最大限度地提高UAV–RIS的总能量收集效率，同时满足用户所需的最小吞吐量约束

系统模型

【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面

两个维度
1. 只考虑时间：分为两个阶段
  （1）能量传输阶段（2）信号传递阶段
2. 考虑时间和空间
  （1）能量传输阶段（2）信号传递阶段：在该阶段还考虑智能反射面哪些反射元件用于能量收集。

通信模型

【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面

优化函数

下图中只写出了时空两个维度的，单一时间维度的类似。
【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面

算法设计

本文使用到强化学习的SD3算法，该算法是TD3算法的优化（求Q值引入Softmax），下图对比了TD3算法和DDPG算法，并简单列出了SD3算法的推导过程。
【论文阅读】基于鲁棒强化学习的无人机能量采集可重构智能表面文章来源地址https://www.toymoban.com/news/detail-448883.html