新闻中心

EEPW首页 > 物联网与传感器 > 编辑观点 > 双目立体赋能3D机器视觉,银牛携芯片模组登陆中国市场

双目立体赋能3D机器视觉,银牛携芯片模组登陆中国市场

作者:王莹时间:2021-12-13来源:电子产品世界收藏


本文引用地址:http://www.eepw.com.cn/article/202112/430289.htm

1   几种感知技术比较

感知主要有3个技术方向:立体,结构光,飞行时间(ToF),结构光起步比较早,但是技术的局限性较大,而立体的发展速度较快,势头迅猛。

从物理原理上,立体和结构光二者都用了三角测距,但是双目立体是依靠自然的红外反射在摄像头上产生特征点,来计算对象物的数据。结构光需要有一个发射光的发射源,带编码的光到了对象物体再反射回来来计算这个深度。结构光的弱点是在室外时,结构光发射带编码的光经常受到环境的干扰;而双目立体不容易受到室外光的干扰,因此室内室外都可以用。所以结构光只能在室内使用而且距离比较近;而双目立体具有明显优势。

2   双目立体将是机器视觉等高精尖领域的主角

尽管结构光或ToF有它们各自的技术优势和特点,例如成本、近距离,但是随着机器视觉、AI的不断发展,最终会要求更高的精度、处理速度/刷新率、分辨率等,例如机器人、VR/AR等应用,较适合双目立体,因为双目立体的优势在于能够提供更高的精度和更快的处理速度。

1639388223447104.png

因此,如果把3D机器视觉比喻为一场演出,ToF、结构光只是暖场的,真正的主角和演出将由双目立体来主导。不过,未来会是二者或三者融合的方案。当然融合也是有主有辅,双目立体会占最主要的角色,可以配合结构光和/或ToF、激光测距等,以实现更完善的解决方案。

哪些领域有望最先用到双目立体技术?银牛微电子公司看好4个技术应用方向:①避障和自主导航,例如无人机、消毒机器人、送餐机器人、巡检机器人,包括部分的安防机器人,还有自动驾驶范畴内的老年代步车。② 3D扫描重建,例如用于医学、医美,口腔牙齿建模为矫正带来划时代的变革。③人脸识别。人脸识别不仅仅是比对照片进行人脸的识别,更重要的是今后在金融支付/刷脸支付场合用于防伪。④尽管目前双目立体在中国的应用主要集中于定位,但是将来会有一些非常巧妙而非常难做的劳动机器人出现,例如欧美有客户用双目模组做自动摘葡萄、摘桃子,有一些国外公司与中国客户接触做自动采茶,这需要精准识别茶叶,再用剪刀准确控制和剪切下来。

3   银牛3D芯片及模组登陆中国市场

从感知到计算,再到系统一体化,是每个机器视觉必须要具备的环节。实际上,机器视觉不仅是你看到了什么,其次还要明白你的机器视觉需要达到什么目的?机器要理解这个世界,因此机器要有分析能力,即要有强大的计算能力;之后,还要进行判断、决策、执行,因此需要系统的整体设计。可见,感知、计算、系统都是缺一不可的。如何获得这样一揽子的解决方案?

近日,3D芯片的引领者Inuitive的母公司——银牛微电子宣布,面向机器人行业重磅推出旗下全新产品“3D机器视觉模组C158”。该产品基于银牛(Inuitive)NU4000芯片设计,高度集成3D深度感知、高精度姿态跟踪、SLAM(实时定位建图)引擎与强大的AI算力于一体,可为业界提供从实时3D感知、计算到系统一体化的解决方案。

1639388248656323.png

C158具备业内领先的深度感知能力,深度分辨率可达1280 x 800 @60fps,感知距离达到6m,深度感知精度误差仅为1%,满足了对3D深度性能有高要求的应用。在AI性能方面,该产品拥有2 TOPs的AI运算能力和灵活配置,不但能有效地支撑从感知到运算的各种需求,还能减少主控芯片 / 系统的负担,提高实时性。

在功耗方面,C158仅以0.5 W即可实现5~6 TOPS算力,可轻松满足设备端功耗要求,并且产品内置的通用型ARM核,支持系统的独立性,使系统可以同时兼顾协处理器和主控系统,为设计提供极大的灵活性。

1639388263639220.png

图 C158模组:从感知到计算到系统一体化的解决方案

那么,市场上已有一些双目先驱,相比他们,银牛/Inuitive的特色是什么?为此,电子产品世界记者采访了银牛微电子领导:董事长兼CEO 曲冠诚、联合创始人兼首席战略官白逸、联合创始人兼副总裁何火高。

1639388795661482.png

从左至右:银牛微电子联合创始人兼首席战略官白逸,董事长兼CEO曲冠诚,联合创始人兼副总裁何火高

4   银牛与Inuitive的关系 

银牛是2020年为并购Inuitive而成立的。Inuitive在以色列已经有近10年的历史,是世界上第1家把双目、SLAM功能(实时定位与建图)技术、深度学习功能集成于芯片里的企业,这个芯片就是NU4000。

Inuitive具有丰富的设计经验,所有人员的从业经历平均超过25年,涉及到8个顶尖学科,例如光学、计算机视觉、嵌入式系统等,仅仅光学的储备能力,在中国都很难找到相匹配的团队。众所周知,全球第1个3D结构光芯片技术是以色列PrimeSense公司推出的,后来该公司被苹果公司并购,苹果于2017年推出了具有支付安全级的人脸识别结构光手机iPhone X。后来PrimeSense的CTO、项目负责人加入了Inuitive。

2020年,银牛微电子并购了Inuitive。可见,银牛为并购而成立,站在了巨人肩膀上。

并购后,银牛在Inuitive国际客户验证的基础上,进一步根据中国客户的需求来调优产品,发布了新模组C158。其中“C”代表“China”,代表满足中国客户的需求。

 银牛的战略定位是成为双目视觉领域的异构平台解决方案提供商。为此,银牛推出芯片和模组等底层技术,在此基础之上再加上各种应用算法,以满足不同行业的需求。

2022年银牛看好三个行业能够落地:①辅助驾驶(低速的),②各类的机器人,让机器人更像人,增强跟人的交互,③ AR/VR。下一步,银牛还看好医疗等方面的应用。

市场上还有一些厂商做类似产品,例如英特尔RealSense是双目的先驱,多年来并购了很多公司,有十几年的储备,在机器人行业颇有建树。银牛认为和友商不是竞争的关系,目前在3D市场兴起的时候,参与的开发者越多越好。

在此领域,银牛提供差异化的产品。首先银牛不认为自己是一家单纯的AI通用芯片或3D感知芯片供应商,银牛要做人工智能3D计算时代IoT和边缘端完整的异构计算平台,以及在这个平台之上的生态系统,这就是银牛的芯片不仅仅能提供3D感知,还有AI、DSP、音视频处理等功能的原因。

5   技术挑战是如何攻克的?

5.1集成了AI等功能,如何降低功耗?

银牛会持续在工艺节点上不断追求更高。NU4000是12nm工艺制程,未来该系列产品还会不断的升级迭代,从现在到2023年的时间,工艺会从12nm前进到7nm甚至5nm。

从芯片设计角度,低功耗是创始人的特色,从创始人第一天开始设计芯片就考虑到的,芯片历来都是功耗最低的,他在设计里把运行起来的过程,包括从原子层怎么消耗做得非常透彻,这是Inuitive的核心竞争力。为了做到这种程度,很多厂商做3D是在开源上改,而Inuitive是用自己的IP,都是从根儿上重新设计。

1639388286957148.png

图 Inuitive的创始人及联合创始人

5.2视觉SLAM对比激光SLAM的优势

二者各有优势,是相互补充的关系,尤其视觉SLAM成本各方面有非常大的优势。

银牛微电子联合创始人兼副总裁何火高判断,视觉SLAM和激光SLAM可能是一种融合状态,会采用激光SLAM+视觉SLAM。如果是融合方案,就能把自主导航应用场景做得更完整。

Inuitive在芯片上做的是视觉SLAM加速的引擎,能够让客户更有效地把他们的SLAM移植到Inuitive芯片上,以实现想要的功能。

5.3 未来允许第三方厂商直接用芯片设计模组吗?

银牛也有芯片客户,至于选择哪种,会是一种商业的考量。

3D机器视觉是刚刚起步的技术,从目前生态的成熟度、解决方案成熟度、参与度来看,还远远无法到拿一个芯片可以直接用起来的程度。而且和其他芯片不同的是:3D感知异构计算平台因为有3D感知部分,它不仅仅是电的问题,还是跨学科的系统工程,从对光学系统的了解,对视觉算法,到后面一整套的从生产制造到标定,要求都是非常高的。因此,目前从客户和生态成熟度来讲,去使用芯片的难度非常高,必须要把这些问题包装在起来,才能赋能整个3D机器视觉生态里的客户以更低的门槛、更低的成本加快研发和应用的落地。

例如三维空间数学,尽管很多人都在做,把三维空间数学添加在应用里的门槛就很高。有了深度图给你,有三维空间,而且每个场景的应用都不一样,把这个应用起来门槛是非常高的。

5.4 未来支持结构光和ToF吗?

银牛微电子董事长兼CEO曲冠诚称,目前我们可以支持结构光,也支持双目立体,,但是我们更看好双目未来的发展。我们认为结构光的技术门槛不是很高,现在双目的市场需求呈爆发式增长。双目有着天然的优势,因为人的眼睛就是最自然的、感知世界最好的工具,加上我们AI的能力,把眼睛和大脑结合在一起,让整个机器能够更好地感知、理解以及执行任务。。

实际上,NU4000现在就可以支持结构光,同时也支持部分ToF(注:不是全支持TOF,因为TOF有很多种)。最终的解决方案发展会是融合的方案,融合也是有主有辅,即使是融合方案,双目会是占最主要的角色,比如配合结构光,或者是TOF,或者是激光测距等等去做更完善的解决方案。我们也是有充足的准备,首先我们的芯片支持结构光,目前TOF也是可以支持,只不过因为目前看到市场需求,我们相信双目有它最大的价值,而且它是更持久、更有生命力的技术。



关键词: 3D 双目 深度

评论


相关推荐

技术专区

关闭