图2-6 Leap Motion内部结构此外,Ultraleap for Developers还有全新产品Ultraleap Stereo IR 170,如图2-7所示。Ultraleap Stereo IR 170是下一代光学手部跟踪模块,可捕捉用户的手以及手指以便于他们方便地与数字内容进行互动。它被集成到用于AR/VR/XR的企业级硬件解决方案、显示器、安装和虚拟/增强现实耳机原型设计、研究和开发。Stereo IR 170评估套件由Ultraleap Stereo IR 170摄像头模块组成,模块位于塑料外壳中,带有USB头,便于即插即用评估。其物理尺寸为105mmL×10mmW×7.7mmH,FPS为90,深度范围在10cm-75cm,最高可达1m,视场角为170°×170°,最小为160°×160°,支持USB2.0、USB3.0。
图2-7 Ultralleap Stereo IR 1702.4 DUO 3DDUO 3D的相机使用全局快门。但是分辨率比较低,在640×480的时候帧率为60FPS,焦距2mm,170度广角相机,SDK预完成立体匹配。其中一种DUO MLX型号的双目携带了6轴的IMU。产品SDK支持:Linux、Windows、MAC,支持arm、x86架构的CPU。DUO-MINI-LV1(DUO M R2)型号的摄像头其物理尺寸为52.02mmL×25.40mmW×11.60mmH,基线长30mm,帧率可达0.1-3000+ FPS,分辨率有:45FPS@752×480、49FPS@640×480、98FPS@640×240、192FPS@640×120、86FPS@320×480、168FPS@320×240以及320FPS@320×120。视场角为170°Wide Angle Lens,采用USB2.0接口。
图2-8 DUO3D DUO Stereo Camera双目相机3d双目立体摄像头2.5 Viper工业级双目立体相机Viper™是欧洲Rubedos公司推出的工业级双目立体相机,其三维视觉感知系统通过内置的NVIDIA Jetson™ Tx2处理器搭配用于特征点匹配的先进算法,实现了纯双目获取精准深度图像的功能。同时针对应用者提供例如跟随,物体识别等成熟的应用软件包,对于开发者提供丰富的Windows/Linux API并支持ROS,机身小巧便捷,拥有IP65的防护等级并支持根据用户需要定制开发专用的双目立体相机。
图2-16 分辨率2.11 大疆精灵Phantom4 Pro V2.0大疆在Phantom4上实现了双目立体视觉系统加惯性测量元件构成的视觉里程计,现已停产。飞机上装了两套双目立体视觉系统,一套向前看,一套向下看,一共是四个相机。两套双目立体视觉系统都参与视觉里程计的计算。通常情况下以向下看的双目立体视觉系统为主,如果向下看的相机对着一些特征不明显的环境(比如纯色的地板、海面等等),感受不到什么图像变化,视觉里程计会自动切换到向前看的立体视觉系统做测量计算。虽然精灵4采用的都是较为成熟的机器视觉技术,但是由于精灵4上机载的计算量非常有限,大疆还是下了相当久的苦功去优化算法,并使用了Movidius公司制作的图像算法处理专用芯片,结合Movidius公司的图像处理算法库优化四路图像处理的性能。前视角度为水平60°,垂直±27°,下视角度为前后70°,左右50°。两套双目立体视觉系统还带来了视觉里程计之外的两个好处:1.向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置,从而知道地面的距离;2.向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度,产生深度图进行障碍感知。深度图还可以用于重建一个飞行器周围的局部地图,以进行精细的运动规划。Phantom4 Pro V2.0是Phantom4的进阶版本,飞机上装了三套双目立体视觉系统,一套向前看,一套向下看,一套向后看,一共是六个相机。前视角度:水平60°,垂直±27°;后视:水平60°,垂直±27°;下视:前后70°,左右50°。适用于表面有丰富纹理,光照条件充足(>15 lux,室内日光灯正常照射环境)。
图2-17 Phantom4 Pro V2.02.12 小觅MYNT EYE作为基于视觉识别技术的3D传感器,小觅双目摄像头深度版可适用于室内外双重环境。无惧室外强光环境,完全黑暗的室内环境亦可工作。小觅双目摄像头深度版(MYNT EYE Depth)可广泛应用于视觉定位导航(vSLAM)领域,包括:无人车和机器人的视觉实时定位导航系统、无人机视觉定位系统、无人驾驶避障导航系统、增强现实(AR)、虚拟现实(VR)等;双目也可应用于视觉识别领域,包括:立体人脸识别、三维物体识别、空间运动追踪、三维手势与体感识别等;应用于测量领域,包括:辅助驾驶系统(ADAS)、双目体积计算、工业视觉筛检等。小觅双目摄像头深度版(50°镜头)产品规格型号为:D1000-50/Color。内置深度计算芯片,无需上位机直接输出深度,同时搭载全局快门,并能实现芯片级双目帧同步,可输出720p/60fps深度图像,深度误差最高可达毫米级。同时,内置六轴IMU传感器和IR主动光探测器(120°版本)。
图3-1 Kinect v1其RGB分辨率为640×480,帧率为30FPS,深度分辨率为320×240,帧率为30FPS,接口为USB2.0接口。3.2 Intel RealSenseIntel® RealSense™深度摄像头D415和D435将Intel D4视觉处理器和深度模块集成在外形小巧、功能强大、成本低廉、可立即部署的封装中。Intel® RealSense™ D400系列摄像头设计用于实现轻松设置和便于携带,是将深度感应应用到设备中的开发者、制造者和创新者的理想选择。这些摄像头可捕获室内或室外环境,具有远距离功能以及高达1280x720的深度分辨率(30帧每秒 (fps))。AD-Census算法来自于中国学者Xing Mei等在ICCV2011发表的论文《On Building an Accurate Stereo Matching System on Graphics Hardware》。算法效率高、效果出色,Intel RealSense D400就是基于该算法实现的立体匹配。D415具有标准视野,非常适合3D扫描等高精度应用,这种视野为较小的物体或需要更精确的测量时带来更高的深度分辨率。且D415在深度传感器上设置了卷帘快门,可提供最高的深度质量。此外,D415还集成了RGB传感器,非常适合面部认证、3D扫描或体积捕获。其物理尺寸为99mmL×20mmW×23mmH,深度测距范围为0.5m-3m,视场角为65°×40°,输出的深度分辨率最高可达1280×720,帧率可达90FPS;RGB分辨率为1920×1080,帧率为30FPS,视场角为69°×42°,接口为USB‑C* 3.1 Gen 1*。
图3-2 D415D435i提供Intel® RealSense™所有摄像头中最宽广的视野,深度传感器上的全局快门非常适合快速移动的应用。D435i可为各种应用提供高质量的深度,它的宽视场非常适合机器人或增强和虚拟现实等应用,在这些应用中,尽可能多地看到场景至关重要。这款小型摄像头的射程可达10米,可轻松集成到任何解决方案中,并配有英特尔实感SDK 2.0和跨平台支持。其物理尺寸为90mmL×25mmW×25mmH,深度测距范围为0.3m-3m,视场角为87°×58°,输出的深度分辨率最高可达1280×720,帧率可达90FPS;RGB分辨率为1920×1080,帧率为30FPS,视场角为69°×42°,接口为USB‑C* 3.1 Gen 1*。
图3-3 D435i
图3-4 D435i内部结构D455 是 D400 系列中的第四款产品,根据 10 多年立体摄像机开发过程中获得的反馈和知识进行设计。D455将深度传感器之间的距离延长至95mm,从而将4m时的深度误差提高到2%以下。为了改善RGB图像以及深度和RGB图像之间的对应关系,RGB传感器包括一个全局快门,并与深度FOV相匹配。且集成了IMU,使应用程序能够在相机移动的任何情况下优化其深度感知。其物理尺寸为124mmL×26mmW×29mmH,深度测距范围为0.6m-6m,视场角为87°×58°,输出的深度分辨率最高可达1280×720,帧率可达90FPS;RGB分辨率为1280×800,帧率为30FPS,视场角为90°×65°,接口为USB‑C* 3.1 Gen 1*。
图3-5 D4553.3 HP 3D Scanner Pro S3HP 3D Scanner Pro S3是最新款工业级超高精度结构光3D扫描仪。这款改进的版本用一种更好的处理方式优化了结构光技术,考虑到扫描物体的不同条件和各种尺寸,比以前更容易调整的扫描系统,这款扫描仪是可移动的,可以很轻易的放在被扫描物体前,单击开始扫描,几秒钟后屏幕上就会出现数字化三维模型,并且可以同时捕获到扫描对象的表面纹理,您可以扫描物体的多个面,并随后呈现一个封闭的360度模型,三维模型可以导出标准的3D文件格式(如OBJ,STL和PLY),兼容市面上大多数三维设计软件。扫描仪类型为白色结构光,扫描尺寸范围为60-500毫米,分辨率/精度约为物体实际尺寸的0.05%(高至0.05mm),扫描时长为单幅扫描2秒(或者最高到10秒,要取决于设置和电脑速度);网格密度为每幅扫描顶点2,300,000,排列拼接可以选配旋转平台全自动拼接、特征重叠区域自动拼接、围绕Y轴旋转角度拼接、指定点区域自动拼接,纹理辅助拼接等;输出文档格式有OBJ,STL,PLY。其物理尺寸为323×613×209mm,使用结构光,最大分辨率为0.05mm,最大精度为0.05mm,采集速度为2300000points/s,深度范围为0.06-0.5m。
图3-6 HP 3D Scanner Pro S33.4 PrimeSensePrimeSense是以色列3d传感器公司,成立于2005年,2006年成功研制出基于结构光原理的3维传感器(这款芯片运用了“光编码”技术去制造场景,并且使用近IR(红外辐射)光线和CMOS(互补金属半导体)传感器去解读场景背后的光代码,最后使用复杂的算法去分析3D数据。),2009年微软发布的体感游戏产品-Kinect便是采用该公司提供的3D传感器。2010年年底,PrimeSense与华硕合作开发了Xtion Pro——和Kinect采用了同样的3D传感器,不过只能在PC上使用。2011年,PrimeSense与Willow Garage合作,创立了旨在“推动3D应用开源软件社区发展”的非营利性机构OpenNI。2012年,PrimeSense推出了世界上体积最小的3D传感器Capri,它的分辨率是前代产品的3倍,而体型是前代的十分之一,环境光的检测性能是前代的50倍,可以在日光下工作。Capri可以嵌入到平板电脑、笔记本电脑、智能手机以及显示器中。最后以34亿美元被苹果收购。PrimeSense Carmine 1.09短程3D相机传感器用于短距离扫描,可以扫描人脸、头部和较小的物体。它可以像基于PrimeSense技术的Kinect扫描仪一样捕捉运动。PrimeSense 3D深度传感器是一种端到端解决方案,使设备能够以3D方式感知世界,并以与人们相同的方式将这些感知转换为同步图像,从而利用自然交互的力量。该解决方案包括一个传感器组件,该组件可以理解用户在这些环境中的交互。3D深度传感器可查看并跟踪用户在场景中的移动。所有传感器活动都是在不对用户或环境进行任何假设的情况下执行的。无需可穿戴设备,使解决方案实用,方便,直观且易于使用。该传感器包括几个可选的感官输入功能:深度(3D)图像,彩色(RGB)图像和音频(传感器有2个麦克风)。所有感官信息(深度图像、彩色图像和音频)都通过USB2.0接口传输到主机,并具有完整的时序对齐功能。
图3-8 F6 Short Range3.6 Xtion ProXtion PRO LIVE使用红外传感器,自适应深度检测技术,彩色图像感应和音频流来捕获用户的实时图像,运动和语音,使用户跟踪更加精确。Xtion PRO LIVE开发解决方案附带了一组开发人员工具,使开发人员可以更轻松地创建自己的基于手势的应用程序,而无需编写复杂的编程算法。