3D视觉的市场技术概览

作者：王莹时间：2024-11-17 来源：EEPW

加入技术交流群
- 扫码加入
  和技术大咖面对面交流
  海量资料库查询

本文引用地址：https://www.eepw.com.cn/article/202411/464673.htm

1 视觉正从2D向3D升级

机器视觉起源于上世纪50年代。随着传感和计算等技术的发展，机器视觉凭借其分辨率高、速度快、范围宽、适应性强、精度高、可量化及可持续工作等优势，将图像处理应用于工业、商业和人们的日常生活中，成为这些行业发展的助推力。

随着智能制造的不断深入，面对复杂的物件辨识和尺寸量度任务，以及人机互动所需要的复杂互动，2D视觉在精度和距离测量方面均出现部分技术局限，市场对3D视觉的需求开始与日俱增。

3D空间计算概念大概15~20年前就已经有了，近年来随着3D传感器、AI、大数据和机器人过程自动化等领域的蓬勃发展，带来了实时、准确的3D目标检测，为机器人的物体识别、物体检测、物体分拣、视觉定位/导航、有效避障等各项任务提供保障。以正在兴起的人形机器人应用领域为例，3D视觉传感器可以帮助机器人高效完成人脸识别、距离感知、避障、导航等功能，使其更加智能化。

图1 2024-2029年全球机器视觉市场规模预测（单位：亿美元）

2 机器视觉市场

据前瞻产业研究院预测，全球机器视觉市场2024—2029年的复合年增长率将在20%左右，至2029 年，全球机器视觉市场规模将有望接近400亿美元。

据GGII（高工产业研究院）数据显示，2021年全球机器视觉市场规模约为804亿元，同比增长12%，预计至2025年该市场规模将超过1200亿元。2022-2025年的年均增长率约为12%。在这期间，中国的增长速度尤其快。2021年，中国机器视觉市场规模138亿元（注：该数据未包含自动化集成设备规模），同比增长47%，其中2D 视觉市场规模约为127 亿元，3D 视觉市场约为12亿元。预计2025年，我国机器视觉市场规模将达到469亿元，其中2D视觉市场规模将超过360亿元，3D视觉市场规模将超过100亿元。

图2 2D与3D图比对（图源：奥比中光官网）

可见，我国不仅机器视觉市场高速发展，而且3D视觉市场异军突起，市占率从2021年的9%，增加到2025年的21%，是一个妥妥的朝阳行业。

3D传感器是3D视觉的重要组成部分，据Allied Market Research（AMR，联合市场研究）预计，到2031年，全球3D传感器市场预计将达到570亿美元，自2022年起复合年增长率为13%。该技术的首次商业用途是在游戏领域的3D成像和检测，在过去10年中，受智能手机需求以及3D面部识别解锁手机功能的推动，消费设备中的3D传感技术不断增加。

3D传感器及信号调理厂商众多，本文涉及了英飞凌、Teledyne e2v、安森美、罗姆、ADI、奥比中光等公司的采访与网上信息摘录。

图3 部分3D测量方案

3 3D视觉的特点

过去数十年中，2D成像技术有了长足的发展，分辨率从几十万像素发展到现在的上亿像素，色彩还原更真实，逆光环境下也能通过HDR 技术提升图像质量。

然而，2D图像仅能够提供纹理（色彩）信息，无法提供实现更精准识别、追踪等功能所需的空间形貌、几何尺寸、位姿等信息。

3D视觉技术相对于2D技术提供了更丰富的被摄目标信息，可以在六个自由度（x、y、z、旋转、俯仰、横摆）上定位被摄目标，还原人眼视角的三维立体世界（如图2）。基于3D视觉传感器采集的信息，不但有纹理（色彩）信息，还增加深度信息，也就是视场内的空间几何尺寸信息。这样围绕着物体、空间扫描一圈，就能得到点云图和精准的1∶1 还原的3D 模型。而有了这些信息作为输入，应用场景会大为增多，性能也会大幅提升。

● 结构光方案;

● 深度传感器。种类有：iToF（间接飞行时间）/dToF（直接飞行时间）、FMCW（调频连续波）、超声波及雷达/ 激光雷达（Lidar）。

这些方法适用于不同的应用场景。以人形机器人为例，视觉传感技术主要使用多目立体视觉和iToF 法。多目立体视觉是立体视觉方法中的一种，最少使用3 个相机，用单个或多个相机从多个视点获取同一个目标场景的多幅图像，重构目标场景的三维信息，特斯拉和UCLA（加州大学洛杉矶分校）Artemis、优必选使用3个相机实现多目立体视觉。ToF相机通过测量光源发送到场景中，并经由物体反射到感测组件来获取深度信息，若是通过发射波形和反射接收的时间差是dToF，而测量的是发射波形和反射接收波形之间的相位移则是iToF。小米和波士顿动力使用iToF。

4 3D视觉传感器

3D视觉传感器的分类如表1所示。

表1 3D视觉感知技术差异（来源：奥比中光）

● 结构光

通过光学投射模块将具有编码信息的结构光投射到物体表面，在被测物表面形成光条图像。图像采集系统采集光条图像后，通过算法处理得出被测物表面的三维轮廓数据，以还原目标物体三维空间信息（如图4）。结构光技术是一种主动的三维测量技术。

图4 各种结构光原理

其特点是：由于结构光是主动光，优势是在昏暗环境和夜间可用，不需要根据场景的变化而有变化，降低了匹配的难度。但劣势是在强光环境中会受到干扰，室外基本不可用。另外，由于主动结构光是带编码的，所以多个结构光相机同时使用也是有问题的。在实测中，结构光在角度比较小的侧面上反射比较严重，经常出现较大的黑洞，当然黑色物体和玻璃是结构光的大BUG，一个吸光一个透光。

● 立体视觉法

指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息。目前立体视觉 3D 可以通过单目、双目、多目实现。双目机器视觉是指使用两个 RGB 彩色相机采集图像，并通过后端的双目匹配和三角测量等算法，计算得到深度图的技术方法。双目技术使用的是物体本身的特征点，由于每一次双目匹配都面对不同的图像，都需要重新提取特征点，计算量非常大。双目是一种被动的三维测量技术。

特点是：硬件复杂度较低，弱光或目标特征不明显时几乎不可用。同时，双目相机的运算复杂度也非常高，对硬件计算性能要求极高。因为计算能力要求高，双目相机极少在嵌入式系统设备中使用，双目相机在通用场景中表现也并不太好，像诸如SLAM（同步定位与地图构建）导航等应用。但在工业自动化领域和x86 系统中，双目相机应用广泛，因为工业自动化中，双目相机可以解决特定场景中的特定问题。

● 飞行时间(ToF)

由发射和反射光信号之间的时间延迟来测量，给定固定的光速。为了精确地测量时延，经常使用短光脉冲。这种技术与3D 激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而ToF 相机则是同时得到整幅图像的深度信息。

特点是：和结构光方式相比，ToF 并不需要对光的图案做复杂解析，只需要反射回来即可，这大大提高了鲁棒性，深度信息还原度比结构光好很多，点云的完整性更好。主要表现在：深度图质量要高于结构光，抗强光的干扰能力也更强一些，精度也要更高一些。但对于玻璃，是光技术的死穴，只能靠其他技术来弥补了。ToF速度高，但精度只有毫米级。ToF技术的难度较高，成本也较高。

5 工程师该如何选型？

这取决于要以3D 形式可视化的目标应用/ 产品。

首先，选择正确的技术可能有挑战性。Teledyne e2v公司的发言人告诉EEPW记者，通过研究所考虑场景的要求来完成的，诸如分辨率、距离范围（最小和最大）、视场、帧速率、环境和照明方案（室内、室外或混合），当然还有所需的准确性和可重复性。

其次，评估全局系统，包括光学系统、照明（如果使用主动技术）、处理等。并综合考虑参数以做出正确的权衡，从而尽可能地优化最终系统。

Teledyne e2v拥有广泛的3D传感器和模块产品组合，有用于激光三角测量、立体视觉、结构光的传感器，还有用于飞行时间和角度敏感像素（即5D技术）的传感器的3D技术，可满足从低端到高端产品的多个市场，诸如AGV/AMR、机械臂、工厂过程控制、物流和仓库自动化等。

6 以ToF解锁3D立体空间

ToF分为dToF 和iToF。dToF和iToF在传感器原件上的区别是：iToF是使用CMOS工艺开发的图像传感器，而dToF需要使用单光子雪崩二极管（SPAD）的传感器。dToF有长距离与抗干扰性的特点，较适用于长距离的量测。而iToF由于有成本与空间图像分辨率的优势，很适合AI应用。

由于iToF除了对于距离与空间的重现具有高度的可靠度外，还有分辨率的优势，近年发展很快。“iToF的应用市场非常广阔，从消费类到工业类，再到汽车电子市场都有非常多的应用场景。” 英飞凌科技大中华区消费、计算与通讯业务高级市场经理张训彬告诉EEPW记者，其iToF专注于智能手机、智能扫地机和智能汽车应用。其3D ToF传感器广受市场好评，目前每年的出货量都在几百万片以上。

iToF之所以流行，因为相比于结构光、多目等3D感知方案，iToF是相对简单的。但是，工程师们仍然面对着很多行业内的技术挑战，比如多路径干扰、飞点、HDR、运动模糊等。为此，英飞凌积极与合作伙伴合作，例如与pmd公司（湃安德）合作，其为英飞凌提供了先进的深度算法，校准、测试方案；欧菲光公司创新性地提出了双光源（hToF）的解决方案，解决了很多行业内的难点、痛点问题，从而为3D ToF在机器人的智能化的发展提供应用价值。

7 多种技术组合，使3D视觉还原“真像”

仅有3D传感器还不够，还需要相关的芯片等技术配合。

● LiDAR 激光二极管与GaN器件匹配

物流行业正进入智慧物流时代，需要越来越多的AGV（无人搬运车）和AMR（自主移动机器人），能精准地感测更远距离、不易受到阳光干扰的LiDAR（3D感测和距离感测）技术备受瞩目。

为了使LiDAR支持更远的距离并实现更高的精度，罗姆开发出了可实现更窄激光线宽的自有专利技术。并且与之配合，还有能驱动LiDAR 激光二极管的高速开关GaN HEMT。该GaN器件能够以1 ns左右的超窄脉冲驱动激光器，而这是以往的Si 器件无法实现的。1 ns的时间偏差相当于30 cm的距离偏差，因此如果脉冲宽度过宽将无法进行高精度的距离检测，而使用GaN 器件则可以攻克这一难题。另外，由于电流流动时间变短，发热量降低，因此可实现更大电流驱动，从而可以检测更远的距离。

● 传感器及连接解决方案组合

工业自动化正经历一场重要变革，机器人和机械设备正从能够执行高精度重复任务的全自动设备，逐步演变为能够自主反应并适应环境变化和新输入的智能自主化机器。随着工业自动化技术向自主化不断发展，机器能够准确、可靠、安全地感知其周围环境以有效执行任务变得至关重要。ADI机器人与工业视觉产品线总监Maurizio Granato称，这往往需要多项技术解决方案。

ADI能够将深度感测（飞行时间）技术与连接解决方案（如TSN以太网、GMSLTM 和Gigaspeed 隔离）相结合，应用于机器人、智能机械设备和数字工厂等领域。ADI工业视觉技术部总监Erik Barnes以ToF应用举例，ADI不仅提供高性能的传感器，还提供带有深度处理芯片和算法支持的子系统级解决方案，帮助客户将ToF技术快速集成至其产品中。例如，ADI率先推出了一百万像素（1 MP）的ToF深度传感模块，ADI的深度图像信号处理器（ISP）提供了一个专用的数字计算引擎。在视频数据传输领域也拥有关键创新技术，诸如ADI的千兆位多媒体串行链路(GMSL) 是一种性价比高、简单且可扩展的SerDes 技术。

● SoC计算芯片与模组

2D升级到3D以后，一种比较传统的做法是用一个性能较强的通用芯片或FPGA去运行软件化的3D算法，其优点是灵活性高，但也存在一些缺板：①延时、功耗、系统成本较大。②对于一些较高的性能需求，诸如低延时、高分辨率/ 高帧率，用常规的软件算法或FPGA 很难实现。③随着很多应用对真实世界的感知越来越复杂，这些设备加在一起的价格比较昂贵。

为了解决此矛盾，芯明智能把3D 算法做成了芯片。副总裁周凡指出，目前核心量产的芯片有：NU4100和NU4000，都是12 nm制程，它们作为系统的协处理器，有较强的边缘计算能力，可以帮助大幅降低整个系统的成本和功耗。NU4500是最新款的芯片，今年会去做tape out。此外，由于很多机器人客户很难直接使用芯片，为此，芯明智能推出了各种视觉模组，覆盖不同的视觉范围、接口要求、防水防尘等级等。

8 机器视觉的发展历史

机器视觉起源于上世纪50年代，Gilson提出了“光流”概念，并在相关统计模型的基础上发展了逐像素计算模型，标志着二维图像统计模型的发展（如图5）。