基于RGB图像的机器人抓取算法汇总

Tom Hardy

发布时间 2022.03.18阅读数 3400 评论数 0

前言

近期读取了一些最新基于RGB图像下的机器人抓取论文，在这里分享下思路。

1、Optimizing Correlated Graspability Score and Grasp Regression for Better Grasp Prediction

本文提出了一种新的深度卷积网络结构，该结构通过引入新的丢失量，利用抓取质量评价来改进抓取回归。除此之外发布了Jacquard+，它是Jacquard数据集的一个扩展，允许在一个可变装饰上放置多个对象的模拟场景中评估抓取检测模型。Jacquard+通过物理模拟创建的，允许在完全可复制的条件下进行测试。实验结果表明，所提出的抓取检测方法无论在Jacquard数据集还是Jacquard+上都明显优于现有的抓取检测方法；

网络结构：

实验结果：

2、Real-time Grasp Pose Estimation for Novel Objects in Densely Cluttered Environment

现有抓取方式主要为从物体的质心抓取以及沿物体的长轴抓取，但是这类方式对复杂形状物体常常失败。本文提出了一种用于机器人拾取和定位的新目标实时抓取姿态估计策略。该方法在点云中估计目标轮廓，并在图像平面上预测抓取姿态和目标骨架。被测试对象主要有球形容器，网球，甚至复杂形状的对象，如鼓风机（非凸形）。结果表明，该策略对复杂形状物体的抓取效果良好，并与上述策略进行了比较，预测出了有效的抓取配置。实验验证了该抓取技术在两种情况下的有效性，即物体被清晰地放置和物体被放置在密集的杂波中。抓取准确率分别为88.16%和77.03%。所有的实验都是用一个真实的UR10机械手和WSG-50双指抓取器进行的。

3、GRIP: Generative Robust Inference and Perception for Semantic Robot Manipulation in Adversarial Environments

本文提出了一种两阶段的生成性鲁棒推理与感知（GRIP）方法，以探索在生成对抗环境中进行物体识别和姿态估计。生成鲁棒推理与感知（GRIP）作为一个两阶段的目标检测与姿态估计系统，目的是结合CNN的可区分相对优势和生成推理方法来实现鲁棒估计。在GRIP中，将推理的第一阶段表示为基于CNN的识别分布。CNN识别分布用于第二阶段的生成性多假设优化，这种优化是作为一个静态过程的粒子滤波器来实现的。本文证明，GRIP方法在不同光照和拥挤遮挡的对抗场景下，相对于最先进的姿态估计系统PoseCNN和DOPE，达到了SOTA。使用密歇根进度抓取机器人演示了抓取和目标定向顺序操作在对象拾取和放置任务中的兼容性。

4、Domain Independent Unsupervised Learning to grasp the Novel Objects

本文提出了一种基于无监督学习的可行抓取区域选择算法，监督学习在没有任何外部标签的情况下推断数据集中的模式。论文在图像平面上应用k-均值聚类来识别抓取区域，然后用轴指派方法。除此之外，定义了一个新的抓取决定指数（GDI）概念来选择图像平面上的最佳抓取姿势，并在杂乱或孤立的环境中对Amazon Robotics Challenge 2017 和Amazon Picking Challenge 2016的标准物体进行了多次实验。论文还将结果与基于先验学习的方法进行比较，以验证提出的算法对于不同领域中的各种新对象的鲁棒性和自适应性。

5、Multi-View Picking: Next-best-view Reaching for Improved Grasping in Clutter（代码开源）

摄像机视点选择是视觉抓取检测的一个重要方面，特别是在杂波中存在许多遮挡的情况下。现有方法使用静态相机位置或固定数据收集例程，本文的多视图拾取（MVP）控制器通过使用主动感知方法直接基于实时抓取姿势估计的分布来选择信息视点，从而减少杂波和遮挡造成的抓取姿势的不确定性。在从杂波中抓取20个目标的实验中，MVP控制器获得了80%的抓取成功率，比单视点抓取检测器的性能提高了12%。论文还证明了提出的方法比考虑多个固定视点的方法更准确和高效。

6、ROI-based Robotic Grasp Detection for Object Overlapping Scenes

本文提出了一种基于感兴趣区域（ROI）的机器人抓取检测算法ROI-GD。ROI-GD使用ROI中的特征来检测抓取，而不是整个场景。它分为两个阶段：第一阶段是在输入图像中提供ROI，第二阶段是基于ROI特征的抓取检测器。通过标注视觉操作关系数据集，论文还构建了一个比康奈尔抓取数据集大得多的multi-object抓取数据集。实验结果表明，ROI-GD算法在对象重叠场景中有较好的表现，同时与康奈尔抓取数据集和Jacquard Dataset上的最新抓取检测算法具有可比性。机器人实验表明，ROI-GD可以帮助机器人在单目标场景和多目标场景中抓取目标，总体成功率分别为92.5%和83.8%。