内容列表

1. 关键词

模仿学习：Imitation learning

2. 数据集

图像识别领域的数据集：ImageNet
目标检测的数据集：COCO
机器问答的数据集：SQuAD

3. 框架

斯坦福的李飞飞实验室，开源了分布式强化学习训练框架SURREAL，用来加速学习过程。

团队还发现，用SURREAL框架搭配上文的RoboTurk数据集服用，让人类教练来“手把手”训练机器人，疗效要比不经人类调教的AI好得多。

在这里插入图片描述

这个框架，把一个分布式RL算法，分解成四个部分 (图中由左向右) ：

一是演员 (Actors) ，负责生成经验；
二是缓冲池 (Buffer) ，负责储存经验；
三是学习者 (Learner) ，根据经验来更新参数；
四是参数服务器 (Parameter Server) ，负责储存参数。

在这里插入图片描述

演员部分，是多个演员并行 (Parallel) 的，16个，32个，64个……都可以。

这样一来，AI可用的数据量，能够猛烈增长。

把数据生成和学习过程分开，不需要全局同步 (Global Synchronization) 了，可扩展性 (Scalability) 也就增强了。

另外，框架支持在线 (On-Policy) 和离线 (Off-Policy) 两种策略更新方式。

团队说，系统可以直接部署在云端或者PC端 (如谷歌云、AWS、Azure) ，轻而易举，只需4层：

在这里插入图片描述

第一层，从配置器 (Provisioner) 开始，保障各个云平台的可复现性。

第二层，编配 (Orchestrator) ，用一个完善的云API来分配CPU/GPU资源，复制网络。

第三层，协议 (Protocal) 实现了高效的通信指令。

第四层，就是算法，用PyTorch实现的。

众包平台RoboTurk：
主页 https://crowdncloud.ai/
论文 RoboTurk: A Crowdsourcing Platform for Robotic Skill Learning through Imitation

加速训练的SURREAL：
主页 https://surreal.stanford.edu/
论文 SURREAL: Open-Source Reinforcement Learning Framework and Robot Manipulation Benchmark

4.大会/论坛

  • CoRL机器人学习大会（Conference on Robot Learning），由UC Berkrley、Google、微软、CMU、MIT等顶尖研究机构发起，Google、DeepMind、瑞士科研基金会（SNF）、Facebook、博世等赞助.
    主页：https://www.robot-learning.org/home/program#schedule
  • AAAI 2019,美国人工智能年会（AAAI Conference on Artificial Intelligence），简称 AAAI，是人工智能领域的顶级国际会议。该会议固定在每年的 2 月份举行，由 AAAI 协会主办。
    官网：https://aaai.org/Conferences/AAAI-19/
  • ICLR 2019,国际学习表征会议（International Conference on Learning Representations），简称 ICLR，2013 年成立了第一届，由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。
    官网：https://iclr.cc/1.29
  • ICRA 2019，ICRA 全称为 IEEE International Conference on Robotics and Automation（机器人与自动化会议），是机器人技术领域最有影响力的国际学术会议之一，也是机器人研究人员展示他们作品的重要国际论坛。
    官网：https://www.icra2019.org/1.13
  • ICML 2019，ICML 是 International Conference on Machine Learning 的缩写，即国际机器学习大会。ICML 如今已发展为由国际机器学习学会（IMLS）主办的年度机器学习国际顶级会议。
    官网：https://icml.cc/Conferences/2019
  • CVPR 2019，CVPR 是 IEEE Conference on Computer Vision and Pattern Recognition 的缩写，即 IEEE 国际计算机视觉与模式识别会议。该会议是由 IEEE 举办的计算机视觉和模式识别领域的顶级会议。
    官网：http://cvpr2019.thecvf.com/2.1-2.8
  • ACL 2019，国际计算语言学协会 (ACL，The Association for Computational Linguistics) 是自然语言处理和计算机语言学最顶尖的会议之一，其会员遍布世界各地，被 CCF（中国计算机学会）认定为 A 类国际学术会议，涵盖领域包括语言分析、信息抽取、机器翻译与自动问答等。
    官网：http://www.acl2019.org/EN/index.xhtml5.13
  • KDD 2019，KDD 全称是 Knowledge Discovery and Data Mining，即知识发现与数据挖掘，由美国计算机协会 ACM 下的数据挖掘分会举办，是国际数据挖掘领域的顶级会议。
    官网：https://www.kdd.org/kdd2019/4.28
  • IJCAI 2019，人工智能国际联合大会（International Joint Conference on Artificial Intelligence），简称 IJCAI，是国际人工智能领域排名第一的学术会议，为 CCF A 类会议。该会议起于 1969 年每两年举办一次，自 2016 年起每年举办一次。
    官网：http://www.ijcai19.org/4.13-4.18
  • ICCV 2019，ICCV 全称为 International Conference on Computer Vision（国际计算机视觉大会 ），由 IEEE 主办，与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议，每两年召开一次。
    官网：http://iccv2019.thecvf.com/6.14
  • IROS 2019，IROS（全称 IEEE / RSJ International Conference on Intelligent Robots and Systems）是世界机器人和智能系统领域机器人最著名、影响力最大的顶级学术会议，一般是在欧洲、亚洲、美洲三大洲间循环举办。
    官网：http://www.iros2019.org/6.30

5.相关论文


Motion Planning Networks, from UC San Diego Micheal C. Yip’s group, in ICRA, 2019
https://arxiv.org/abs/1806.05767

Learning and Inferring movement with Deep Generative Model, from Tsinghua Fuchun Sun’s lab, in ICML Workshop, 2019
https://arxiv.org/abs/1805.07252

Learning Plannable Representations with Causal InfoGAN, from UC Berkeley Pieter Abbeel’s group, in NeurIPS, 2018
https://papers.nips.cc/paper/8090-learning-plannable-representations-with-causal-infogan

CRAVES: Controlling Robotic Arm with a Vision-based, Economic System
https://zhuanlan.zhihu.com/p/69346868?utm_source=qq&utm_medium=social&utm_oi=903420714332332032