基于自适应策略转移的深度强化学习

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

Efficient Deep Reinforcement Learning via Adaptive Policy Transfer

• 作者：Tianpei Yang、Jianye Hao、Zhaopeng Meng 等

• 论文链接：https://arxiv.org/pdf/2002.08037.pdf

摘要：通过利用过去学得的相关任务策略的先验知识，迁移学习（Transfer Learning, TL）在加速强化学习方面表现出了极大的潜力。现有的迁移方法要么显式地计算任务间的相似度，要么选择合适的源策略为目标任务提供指导性探索。但是，如何利用合适的源策略知识并且隐式地度量相似度，进而直接优化目标策略，这种思路的研究目前是缺失的。

因此，在本文中，来自华为诺亚方舟实验室等机构的研究者提出的新型策略迁移框架（Policy Transfer Framework, PTF）通过利用上述思路来加速强化学习。该框架学习对于目标策略来说何时复用以及复用哪种源策略才能达到最佳效果，以及通过将多策略迁移建模为选择学习问题来确定何时终止这种源策略。

本研究中策略迁移框架（PTF）示意图。

算法 1：PTF-A3C。

两种风格的网格世界（Grid world）W 和 W』。

两种具有连续控制的评估环境。

推荐：实验表明，这种新型策略迁移框架能够显著加速学习过程，并在独立和连续动作空间中的学习效率和最终性能两方面超越了当前 SOTA 策略迁移方法。

end

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~