随着人工智能与机器人、无人驾驶的火热,深度相机的技术和应用也受到关注,何谓深度相机?

顾名思义,就是可以测量物体到相机的距离(深度)

传统的RGB彩色普通相机称为2D相机,只能拍摄相机视角内的物体,没有物体到相机的距离信息,只能凭感觉感知物体的远近,没有明确的数据

RGB-D深度相机(又称3D相机,其中D代表Depth为深度信息)可获取物体到相机的距离信息,加之2D平面的X,Y坐标,可计算出每个点的三维坐标,以此我们可推断深度相机的应用,如三维重建、目标定位、识别

深度相机分类

目前主流的深度相机有结构光、时间飞行法、双目立体三种

a、结构光深度相机

基本原理:主要硬件有投射仪、相机,通过投射仪主动发射(因此称为主动测量)肉眼不可见IR红外光到被测物体表面,然后通过一个或多个相机拍摄被测物体采集结构光图像,将数据发送到计算单元,通过三角测量原理计算获取位置和深度信息,从而实现3D重建

结构光顾名思义就是将光结构化,有多种投影图案方式,如正弦条纹的相移法、二进制编码的格雷码、相移法+格雷码等

结构光原理图

优点

技术成熟,功耗小,成本低

主动投影,适合弱光照使用

近距离(1米内)精度较高,毫米级

缺点

远距离精度差,随着距离的拉长,投影图案变大,精度也随之变差

室外强光照不宜使用,强光容易干扰投影光

代表产品

Kinect1.0,微软官方早已停产,目前市面上多为翻新机、山寨

PrimeSense,3D传感技术鼻祖,苹果13年收购,用于苹果的Face ID,AR应用,人像特效拍摄

RealSense,Intel出品,旗下有很多系列,协作机械臂、无人车上用的比较多

奥比中光,国内入局较早,多轮融资,后为魅族开发过TOF解决方案,不仅仅局限于结构光技术

Xtion PRO,芯片使用的是苹果收购的PrimeSense,行业老大

Zivid,支持ROS,挪威出品,据说20年研发

Pickit,支持ROS,试用多种机械臂ABB、UR、KUKA、Fanuc、Yaskawa等

Allied Vision,主要应用在工业

Photoneo,支持ROS,宣称使用坏境光抑制技术

b、时间飞行法(TOF)深度相机

基本原理:TOF就是时间飞行法,就是给目标发射连续的光脉冲,经过目标反射,通过传感器接受回来的光,记录飞行的时间,计算出到目标的距离,一般分脉冲调制和连续波调制两种

因其主动发射脉冲光,也属于主动测量方式

脉冲与连续波调制原理


优点:

TOF的测量距离较远,不受表面灰度和特征影响,达百米,可用于无人驾驶

深度距离计算,不会随距离的变化而变化,稳定在厘米级

不像双目相机、结构光需要经过算法处理才能输出三维数据,TOF可以直接输出被测物体三维数据

相比于结构技术的静态场景,TOF更适合动态场景

缺点:

精度较差,很难达毫米级,因其对时间测量设备要求高,这点比不上结构光的近距离(1m内)应用,限制在近距离高精度领域的应用

室外强光照基本不能使用

代表产品

Kinect2.0,同Kinect1.0一样,微软官方已停产

Basler,RGB、深度图像、点云图

Terabee,支持ROS,也提供时间飞行传感模块

c、双目立体深度相机

基本原理:通过左右两个摄像头获取图像信息,计算视差

关于视差,类似人的双眼,你单独睁开左、右眼,与同时睁开双眼观看物体的位置、远近不同

双目相机不主动对外发射光源,因此称为被动深度相机,目前多应用在科研领域

双目相机原理


优点

不需要结构光、TOF的发射器和接收器,因此硬件成本低

因为依靠自然光,可在室内外使用,但强光和暗光效果受影响

缺点

强光、暗光影响较大,因为依赖于自然光

对单一环境影响较大,如纯色墙,因双目相机依据视觉特征进行图像匹配,单一问题引起匹配失效

视觉匹配算法复杂

代表产品

ZED,广泛应用在科研机构的无人车、协作机械臂上

PointGrey Bumblebee,同ZED一样科研领域用在无人车、协作机械臂上较多,目前已到3代,2代已停产

小觅,据说公司经营不太好,售后找不到人

图漾,双目+结构光,宣称为了解决单一纹理环境,引入结构光,加入物理纹理

Viper,内置NVIDIA TX2,支持ROS

总结

测量原理

结构光、双目相机:基于特征匹配

TOF:基于飞行时间测

光源

结构光、TOF:红外光

双目相机:自然光

精度与距离

结构光:0.1-10m,短距离(1m)内精度较高,达厘米级

双目相机:0.3-25m,短距离范围内0.01mm-1cm

TOF:0.1-100m,一般稳定在厘米级

应用领域

结构光:智能手机前置摄影、人脸识别、AR/VR

双目相机:无人驾驶、手势识别、深度探测,目前科研领域用的较多

TOF:无人驾驶、智能手机后置摄影、AR/VR

下图为几种深度相机对比,仅供参考

图片来源网络,侵删