入门Unity-ROS（一）从Unity Robotics Hub入门Unity-ROS

敢敢のwings

分类：ROS

发布时间 2022.12.08阅读数 4393 评论数 4

0.简介

对于Unity而言，其拥有非常完备的物理特性，这对于机器人仿真是非常有用的，但是实际上Unity和ROS之间的通信一直是摆在两者之间的难题，正好看到宇宙爆肝锦标赛冠军写的这个系列，所以个人想参照为数不多的资料来进行整理，并完成这个系列的文章。“Unity Robotics Hub”是一种基于Unity环境的机器人模拟工具、教程、资源以及文档信息的资料库。机器人工作者可以在模拟场景中使用Unity。

1. 环境安装

1.1 安装 Docker

卸载旧的docker版本

sudo apt-get update
sudo apt-get remove docker docker-engine docker.io containerd runc

允许apt命令可以使用HTTPS访问Docker repository

sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

在这里插入图片描述
添加Docker官方的GPG key

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

在这里插入图片描述
验证key(搜索后8位即可显示完成秘钥):

sudo apt-key fingerprint 0EBFCD88

设置repository版本为stable并更新软件列表

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update

开始安装docker

sudo apt-get install docker-ce docker-ce-cli containerd.io

安装完成后，在命令行输入docker --version；出现docker版本信息即表示安装成功。

1.2 Unity安装

从官网(Unity官网)下载Unity Hub。
在这里插入图片描述
或者直接通过命令行安装

sudo sh -c 'echo "deb https://hub.unity3d.com/linux/repos/deb stable main" &gt; /etc/apt/sources.list.d/unityhub.list'
wget -qO - https://hub.unity3d.com/linux/keys/public | 
sudo apt-key add -
sudo apt updatesudo apt-get install unityhub

然后安装安装Unity Editor，进入网址。然后点Unity Editor就行。接着把下载好文件的解压。然后打开Unity Hub，点Locate，选择你Unity Editor文件夹下的Unity即可
在这里插入图片描述

2. 安装Unity Robotics包

这个小节用来提供关于安装Unity Robotics软件包的简短说明。

创建或打开一个Unity项目，值得注意的是如果需要添加URDF-Importer，请确保你使用的是2020.2.0+版本的Unity Editor。
打开Window -> Package Manager菜单
在Package Manager窗口中，找到并单击窗口左上角的+按钮。选择Add package from git URL….
输入所需包的git URL。注意:你可以在git url的末尾添加一个版本标签，比如#v0.4.0或#v0.5.0，来声明一个特定的包版本，或者排除这个标签来从包的主分支获取最新的版本。
- 对于ROS-TCP-Connector，输入https://github.com/Unity-Technologies/ROS-TCP-Connector.git?path=/com.unity.robotics.ros-tcp-connector
- 对于URDF-Importer，输入https://github.com/Unity-Technologies/URDF-Importer.git?path=/com.unity.robotics.urdf-importer
点击 Add.

在这里插入图片描述
在上面项目导入成功的情况下,在Unity的功能面部中会出现对应的Robotics功能选项,点击Robotics->ROS Setting面板

3. Unity Robotics Hub安装

开发环境的需要的环境如下：

Unity版本2020.2+
URDF导入的repo
拥有ROS环境

接着就可以开始安装环境了

git clone --recurse-submodules https://github.com/Unity-Technologies/Unity-Robotics-Hub.git

下面官方文档中提供了两种方法，第一种是使用Docker，另外一种就是直接在本地安装环境。

3.1 Docker安装

启动Docker守护进程。我们可以使用系统无关的docker info命令可以验证docker是否正在运行。如果Docker守护进程当前没有运行，此命令将抛出Server: ERROR，否则将打印适当的系统范围信息。

构建提供的ROS Docker映像:

cd /PATH/TO/Unity-Robotics-Hub/tutorials/pick_and_place &&
git submodule update --init --recursive &&
docker build -t unity-robotics:pick-and-place -f docker/Dockerfile .

这里提供的Dockerfile使用ROS Melodic基本镜像并安装必要的包，将提供的ROS包和子模块复制到容器中，并构建ROS工作区。

启动新建的Docker容器

docker run -it --rm -p 10000:10000 unity-robotics:pick-and-place /bin/bash

3.2 手动设置

导航到这个下载的repo的/PATH/ to /Unity-Robotics-Hub/tutorials/pick_and_place/ROS目录，然后在ROS Melodic环境中运行以下命令

sudo apt-get update && sudo apt-get upgrade
sudo apt-get install python-pip ros-melodic-robot-state-publisher ros-melodic-moveit ros-melodic-rosbridge-suite ros-melodic-joy ros-melodic-ros-control ros-melodic-ros-controllers ros-melodic-tf2-web-republisher
sudo -H pip install rospkg jsonpickle

ROS Noetic用户应运行

sudo apt-get update && sudo apt-get upgrade
sudo apt-get install python3-pip ros-noetic-robot-state-publisher ros-noetic-moveit ros-noetic-rosbridge-suite ros-noetic-joy ros-noetic-ros-control ros-noetic-ros-controllers
sudo -H pip3 install rospkg jsonpickle

如果您在导入新的ROS包之后还没有构建和源化ROS工作区，请导航到您的ROS工作区，并运行catkin_make && source devel/setup.bash。确保没有错误。

3.3 ros_tcp_endpoint

打开一个容器的终端，导航到 ~/catkin_ws ，执行

source devel/setup.bash
roslauch ros_tcp_endpoint endpoint.launch tcp_ip:=127.0.0.1 tcp_port:=10000 # 将127.0.0.1替换为所需的ip，将10000替换为所需要的端口号。

4. URDF文件导入

为了检查整个物理模型是否导入，我们需要检查以下几点项目设置：

打开菜单“Window→Package Manager”，确认是否导入了“URDF Importer”（在上面已经完成安装）。在Unity中导入“URDF”，使用“URDF Importer”。
在这里插入图片描述

在菜单“Edit→Project Settings→Physics”中确认“SolverType”是“TemporalGaussSeidel”。以防止关节不稳定的动作由默认的求解器引起。
在这里插入图片描述
然后下面就是对场景进行设置：

将“Asssets/Prefabs”中的“Table”、“Target”、“TargetPlacement”拖拽到Hierarchy窗口。
将MainCamera的Transform设定如下。

・Position : (0, 1.4, -0.7)
・Rotation : (45, 0, 0)
・Rotation : (1, 1, 1)

在这里插入图片描述
接下来导入URDF

在Project窗口右键点击URDF文件“Assets/niryo_one/niryo_one”，选择“Import Robot form Selected URDF file”
指定“Y Axis”以及“VHACD”，点击“Import URDF”
然后就可以看到机器人被显示在桌子上了

选择添加到Hierarcy窗口的“niryo_one”，在Inspector窗口进行以下设置

・Siffness : 10000
・Damping : 100
・Force Limit : 1000
・Speed : 30
・Torque : 100
・Acceleration 10

在Hierarcy窗口中选择“niryo_one/world/base_link”，在Inspector窗口中进行以下设置

・Immovable : True

5. Unity Robotics Hub中的ROS通信

在Unity Robotics Hub中，有一些基础的ROS通信，这里也给出链接，以供后续学习，当然也可以参照Unity-Robotic-Hub 入门教程（三）来进行学习。

5.1 创建ROS消息和服务的c#类

选择Unity菜单“Robotics→Generate ROS Messages”

点击“ROS message path”中的“浏览”，选择“Unity-Robotics-Hub/tutorials/pick_and_place/ROS/”目录。

会显示msg文件和srv文件的列表
在这里插入图片描述
按下以下三条信息的“Build msg”按钮

・moveit_msgs/msg/RobotTrajectory.msg
・niryo_moveit/msg/NiryoMoveitJointsMsg.msg
・niryo_moveit/msg/NiryoTrajectoryMsg.msg

在这里插入图片描述
然后就会在“Assets/RosMessages/Moveit/msg”目录下，根据msg的信息生成c#脚本。

・RobotTrajectoryMsg.cs
・NiryoMoveitJointsMsg.cs
・NiryoTrajectoryMsg.cs

点击以下服务中的“Build srv”按钮

niryo_moveit/srv/MoverService.srv

其也会在“Assets/RosMessages/Moveit/srv”目录下，根据srv的信息生成c#脚本。

・MoverServiceRequest.cs
・MoverServiceResponse.cs

5.2 加入发布者以及UI

首先将将下载的“Unity-Robotics-Hub/tutorials/pick_and_place”中的“Scripts”复制到项目中的“Scripts”中。这个里面存放了发布者的信息。

・SourceDestinationPublisher.cs
・TrajectoryPlanner.cs

在这里插入图片描述

在Hierarchy窗口的“+→Create Empty”中添加空GameObject，并指定“Publisher”为名称。
“Publisher”,选择“Add Component”中追加“SourceDestinationPublisher”选项。
在“Niryo One”“Target”“TargetPlacement”中拖拽Hierarchy窗口中的“niryo_one”“Target”“TargetPlacement”选项。

然后下面就是来讲如何增加button
在Hierarchy窗口的“+→UI→Button”添加按钮，在Text中指定“Publish”，并在“Position”中指定(0，- 200,0)。
选择button的inspector状态“button→on click()”触发，并在点击时候触发“publisher”的“s ourcedestinationpublisher→Publish()”

6. 整体执行
整个场景的执行顺序如下：
通过roslaunch启动ROS服务

roslaunch niryo_moveit part_2.launch

启动器的启动方式如下

·端点节点的启动
·启动trajectory_subscriber节点

<launch>
    <!--节点启动-->
    <rosparam file="$(find niryo_moveit)/config/params.yaml" command="load" />
    <node name="server_endpoint" pkg="ros_tcp_endpoint" type="default_server_endpoint.py" args="--wait" output="screen" respawn="true" />

    <!--trajectory_subscriber节点启动-->
    <node name="trajectory_subscriber" pkg="niryo_moveit" type="trajectory_subscriber.py" args="--wait" output="screen" />
</launch>

成功后，会显示以下信息

[INFO] [1634298752.158262]: Starting server on 172.17.0.2:10000

在Unity编辑器中按Play按钮。
按Publish键。相关数据会在ROS主题中公布。
确认正在运行roslaunch的终端。并输出了相关数据。

I heard:
joints: [-0.00016236382361967117, -0.007215713616460562, -0.0010509941494092345, 0.01564762368798256, 0.00016680661065038294, 0.00013635685900226235]
pick_pose: 
 position: 
   x: -0.157005697489
   y: -0.216008037329
   z: 0.643718481064
 orientation: 
   x: -1.49643722125e-06
   y: -0.707106769085
   z: 1.49643722125e-06
   w: -0.707106769085
place_pose: 
 position: 
   x: -0.187000006437
   y: 0.216000005603
   z: 0.639999985695
 orientation: 
   x: -0.499999970198
   y: -0.499999970198
   z: 0.499999970198
   w: -0.499999970198

我们看一下代码就可以发现在，代码中我们发布了NiryoMoveitJointsMsg。这个msg信息中保存着以下信息。

·Joint的角度(float[])
·Target姿势(vector+quaternion)
·TargetPlacement的姿势(vector+quaternion)

下面是本例子的注释

using System;
using RosMessageTypes.Geometry;
using RosMessageTypes.NiryoMoveit;
using Unity.Robotics.ROSTCPConnector;
using Unity.Robotics.ROSTCPConnector.ROSGeometry;
using Unity.Robotics.UrdfImporter;
using UnityEngine;

// 发布者
public class SourceDestinationPublisher : MonoBehaviour
{
    // 关键数
    const int k_NumRobotJoints = 6;

    // tf
    public static readonly string[] LinkNames =
        { "world/base_link/shoulder_link", "/arm_link", "/elbow_link", "/forearm_link", "/wrist_link", "/hand_link" };

    // Topic节点名称
    [SerializeField]
    string m_TopicName = "/niryo_joints";

    // 作为object传入的参数
    [SerializeField]
    GameObject m_NiryoOne;
    [SerializeField]
    GameObject m_Target;
    [SerializeField]
    GameObject m_TargetPlacement;
    readonly Quaternion m_PickOrientation = Quaternion.Euler(90, 90, 0);

    // 关节
    UrdfJointRevolute[] m_JointArticulationBodies;

    // ROS连接命名
    ROSConnection m_Ros;

    void Start()
    {
        // ROS连接准备
        m_Ros = ROSConnection.GetOrCreateInstance();

        // 发布者的生成
        m_Ros.RegisterPublisher<NiryoMoveitJointsMsg>(m_TopicName);

        // 关节信息获取
        m_JointArticulationBodies = new UrdfJointRevolute[k_NumRobotJoints];
        var linkName = string.Empty;
        for (var i = 0; i < k_NumRobotJoints; i++)
        {
            linkName += LinkNames[i];
            m_JointArticulationBodies[i] = m_NiryoOne.transform.Find(linkName).GetComponent<UrdfJointRevolute>();
        }
    }

    // パ发布的程序
    public void Publish()
    {
        // 信息的定义
        var sourceDestinationMessage = new NiryoMoveitJointsMsg();

        // Joint角度的传输
        for (var i = 0; i < k_NumRobotJoints; i++)
        {
            sourceDestinationMessage.joints[i] = m_JointArticulationBodies[i].GetPosition();
        }

        // Target姿态的传输
        sourceDestinationMessage.pick_pose = new PoseMsg
        {
            position = m_Target.transform.position.To<FLU>(),
            orientation = Quaternion.Euler(90, m_Target.transform.eulerAngles.y, 0).To<FLU>()
        };

        // TargetPlacement姿态的传输
        sourceDestinationMessage.place_pose = new PoseMsg
        {
            position = m_TargetPlacement.transform.position.To<FLU>(),
            orientation = m_PickOrientation.To<FLU>()
        };

        // 根据connection发布topic
        m_Ros.Publish(m_TopicName, sourceDestinationMessage);
    }
}

7. 参考链接

https://github.com/Unity-Technologies/Unity-Robotics-Hub

https://www.guyuehome.com/40908

https://codeantenna.com/a/I1dRyJjemI

https://github.com/Unity-Technologies/Robotics-Object-Pose-Estimation

https://github.com/Unity-Technologies/articulations-robot-demo

ROS-I Unity

原创文章作者：敢敢のwings。如若转载，请注明出处：古月居 http://admin.guyuehome.com/41415

打赏 0

上一篇：CUDA入门和网络加速学习(一)

下一篇：CUDA的骨骼化加速

入门Unity-ROS（一）从Unity Robotics Hub入门Unity-ROS

敢敢のwings

0.简介

1. 环境安装

1.1 安装 Docker

1.2 Unity安装

2. 安装Unity Robotics包

3. Unity Robotics Hub安装

3.1 Docker安装

3.2 手动设置

3.3 ros_tcp_endpoint

4. URDF文件导入

5. Unity Robotics Hub中的ROS通信

5.1 创建ROS消息和服务的c#类

5.2 加入发布者以及UI

6. 整体执行

7. 参考链接

为你推荐

【四足机器人】步态设计

ROS中的3D建模机器人(三)

ROS系统学习9---节点间的内存共享（中级篇）---图像收发

智能车仿真之机器人建图、定位、导航三部曲（三）

ROS机器人URDF建模

ROS2中的URDF系列教程（九）：理解PR2机器人的URDF描述

评论（4）

关于作者

敢敢のwings

361

2

801

17

SLAM—逆深度

onnx-graphsurgeon----ONNX计算图修改神器

SLAM本质剖析-PCL

相关推荐

4.gmapping建图拓展篇：ase_exploration包 初探

ROS2中的URDF系列教程（十）：URDF XML规程（之四）

ROS部署到机器人小车并实现底层电机控制过程中遇到的问题

ArduPilot+mavros+gazebo+QGC联合仿真初体验

滑模控制(Sliding mode control)快速入门

ROS 2设计文章系列之十三——ROS 2安全飞地

热门泡泡

30积分 失眠，聊聊自己搞ROS的心得体会吧

ros学习路线

30积分 TF_REPEATED_DATA ignoring data错误

各位大佬，有什么ROS定位算法推荐吗

5积分 想买能用ROS2的开发套件。或者开发板

5积分 ros中启动gazebo时报错

TA的专栏

dlo系列

轨迹规划

大模型

Matlab-ros

深度学习

CUDA

FAST-LIO系列

规范学习

机器人仿真

传感器感知

ROS基础以及进阶

无人驾驶

从零到一的SLAM

机器人基础知识

经典论文阅读

C++模式

给作者打赏

忘记密码

修改头像

添加你感兴趣的标签

举报类型（必选）

举报详情（选填）

4.gmapping建图拓展篇：ase_exploration包初探

30积分失眠，聊聊自己搞ROS的心得体会吧

5积分想买能用ROS2的开发套件。或者开发板