智慧视觉的算法、研发和产品动向

作者 迎九 金旺 《电子产品世界》编辑

摘要：人工智能(AI)开始由科研走向行业应用，其中嵌入式视觉是重要的应用场景，例如汽车、监控、虚拟现实/增强现实、医学诊断、工业视觉、无人机和移动市场等。为此，笔者探访了业内部分相关企业，请他们介绍了部分算法、研发和产品动向。

从嵌入式视觉到视觉导向机器学习的挑战

　　今天我们讨论终端的计算和嵌入式计算的时候，也需要来讨论机器学习的推断，再加上计算机视觉，还有传感器融合和任意互联，来实现新一代的视觉导向自主和智能系统。

机器学习概况

　　根据Moor Insight & Strategy提供的机器学习范围图(如图1)，在纵轴上主要是行业领域，横轴上主要是关于应用的位置，看它是嵌入式的应用还是更多靠近云端。但是也有一些应用是既在边缘/终端，又在云上，也就是说它首先进行本地智能的处理，之后还要到云端进行分析，使得它的解决方案能够更加强大。

　　关于右侧列的深色应用区块，2016年底，Xilinx推出的可重配置加速堆栈更多是关注这部分，当然也可以适用于中间一些混合解决方案。不久前Xilinx推出的reVISION堆栈，希望把它应用于左侧列非常广泛的机器学习领域，也有中间的一些少量的应用，即图1的浅色区块部分。可见reVISION加上可重配置加速堆栈，能够实现从终端到云的全面覆盖和布局，推动下一代的机器学习。

　　具体地，现在正在出现这样一种转型，即越来越多的从图2左边的应用转向右边的应用。左边的应用都是非常简单的传感器的配置，一般是各种各样的摄像头，并有一个非常核心的技术，也就是计算机视觉处理技术来识别整个框架环境中的物体。右边的应用会越来越使用各种不同类型的传感器技术，再加上图像传感器，还要和机器学习实现智能的融合。例如，过去在工厂里有机器人在笼子里来完成它们的工作，但是现在已经有了新一代的协作机器人，它们是与人肩并肩一起在工作，而且它们是可以移动的。同样，在汽车ADAS(高级驾驶员辅助系统)里包含有前视摄像头。但是现在为了要支持自动驾驶汽车的发展，摄像头也是多种多样，会有不同的传感器，例如远程雷达、中程雷达、短程雷达，还有激光雷达、毫米波雷达等不同类型的传感器。再加上机器学习的融合，使得这些车辆在行驶时能够做出自己的决策。所以，现在客户更多地要求从左边的应用转向右边的应用，这个过程中就出现了一个很大的转型。

　　客户的三个主要的应用使命或要求是：1.智能性及高效的立即响应性，比如行人从车前经过;2.升级到最新算法和传感器的灵活性;3.在一个万物互联的物联网世界，还需要实现随时与其他机器及云保持连接。

　　很多开发视觉产品的客户通常采用传统的RTL流程(图3)，需要具备相应的硬件方面的专有知识。所以要真正实现非常广泛的视觉应用，就必须要支持新的编程模式，也就是软件定义的编程，同时还要满足相应行业标准库和新型的框架来支持机器学习的应用。所以，通过软件定义的编程以及符合行业标准的库和框架，就能够扩展视觉导向的机器学习应用范围。

　　reVISION堆栈包含一些基础的平台，可以支持算法的开发，而且它带有非常符合行业标准的库和元素，针对于计算机视觉以及机器学习都是非常重要的。而且，它又更进一步采用的是应用的开发商喜闻乐见的平台。这些框架包括在机器学习领域是Caffe，在计算机视觉领域就是OpenVX(如图3右侧)。

　　图3纵轴上表现的是开发应用时所需要的时间和精力，横轴上显示的是开发这些应用所使用的方法。大约在2010年以前，Xilinx推出了新的提高产率的工具，也就是基于RTL的硬件设计的工作流程。2015年下半年，Xilinx推出软件定义的编程环境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的应用。通过2017年上半年推出的reVISION堆栈，开发时间可以大大压缩。所以，传统的模式是Xilinx提供芯片以及开发环境中20%的解决方案，剩下的80%要由客户来完成。但是有了reVISION堆栈以后，Xilinx能够完成解决方案当中80%的工作，剩下的客户只要完成20%，就可以实现其应用。

　　经Xilinx测算，相比同类产品(诸如英伟达的Tegra和典型SoC)，Xilinx的解决方案在机器学习的效率方面能够提升6倍，在计算机视觉领域要提高40倍以上。在实时快速响应的系统当中，更重要的一个参数是时延，Xilinx在时延方面只有同类产品的1/5。

软硬件的可重配置性和可编程性

　　图4显示的是不同类别的传感器演进的过程，如果Xilinx看一下这些视觉导向应用，比如图像，Xilinx可以看到在传感器的类型和配置方面是出现了一个爆炸，这种情况Xilinx把它称作传感器的融合。Xilinx可以看到是人工智能和机器学习的不断扩展驱动了这种传感器融合的趋势，所以也需要可重配置性来跟上这些变化的步伐。

　　如果把所有这些元素都放在图5里。纵轴体现的是系统的响应时间，横轴体现的是系统可重新配置的能力来适应新的神经网络、算法和传感器。为了做到全面完整，在这里也包含了CPU和大型的GPU。这些器件在推断方面表现是非常优异的，但是在时延方面就不是那么理想，但是由于它们精度非常高，所以它们非常适用于在一些数据中心的研发方面的训练，所以它们响应的时间方面是非常低的，但是因为它们需要固定的硬件，它们的可重配置性方面也很低。而reVISION具有很强的可重配置性和可编程性。

Cadence的视觉、雷达、融合传感器计算

　　在神经网络的器件方面，英伟达主宰了通用GPU。而Cadence Tensilica发布的神经网络DSP IP则是面向嵌入式芯片。

　　最新的Cadence Tensilica Vision C5 DSP由于可配置，可以面向多种CNN。因为CNN更新很快，但从拿到IP到芯片上市通常要两三年时间，因此固化硬件的方案会导致不能满足未来的需求变化，所以并不合适，而DSP IP的灵活性使其适合嵌入式系统中的NN(神经网络)实现。

　　通常的NN加速器中，HW(硬件) NN ACC(加速器)与Imaging(图像)DSP、CPU或GPU的通讯/连接很繁琐，可能占整个计算工作量的40%。而由于Cadence重新设计了NN加速器，C5的计算能力可达1T MAC/s，面积在1mm2以内(注：16nm工艺)。

C5与友商的差异化

　　实际上，专用芯片/ASIC的功耗更低，大批量制造成本也更低。另外，FPGA支持的运行频率较低，只有几十MHz，而Vision C5可以支持几百MHz的运行频率。

　　相比同是处理器IP厂商的Synopsys与CEVA，后两者的CNN方案需要三部分：控制、Imaging处理器、HW NN ACC(加速器)。而C5把后两部分集成在一起，因此只需要两大块，方案更为简洁，同时提高了Imaging处理的效率。

Mobileye自动驾驶的下一步计划

　　Mobileye(现被Intel收购)现在做的是三大技术支柱:1.视觉感知;2.做适用于自动驾驶的地图;3.教会车如何去行驶，即和现有的人开车的车流去混合行进。

　　视觉感知

　　Mobileye是一个以单目摄像头做视觉的技术， Mobileye现在是做三目，再后来是八目，在前方是三个摄像头，侧边一边两个，后面一个，加起来是八个，不同于现在的环视系统，Mobileye开发的这款产品不管是哪个摄像头获取的信息都要进行判断。从这个角度看，需要判断的东西非常多。即使Mobileye做三摄像头的解决方案，三个焦距，其实它是三个不同焦距的摄像头，定位远、中、近，每个摄像头的角度不一样，这样，三个摄像头之间是互相覆盖和冗余的，从而可以做到在城市道路上不同的摄像头会起到作用，做到更宽、更远、更精准的判断。

　　Mobileye接下来将可以做到3D(立体)，也就是车不管什么角度，Mobileye都是可以识别出来，预计2018年可用于量产的车。

美光：适用于视频监控行业的创新边缘存储解决方案

　　边缘存储技术是指录制视频并存储在摄像头或直连存储设备中，而不是通过网络存储到集中式记录设施中。这项技术迅速得到了认可，并在IP 视频监控应用中得到了广泛的采用。

　　IP视频监控中边缘存储面临的挑战

　　目前市场上的绝大多数 microSD 卡都是消费级产品，而不是为 IP 视频监控摄像头中的商业和工业边缘存储设计的。因此，许多系统集成商和安装 者认为边缘存储“不可靠”。大多数用户都不了解， 边缘录制中使用的 microSD 卡的寿命和质量可能千差万别，具体取决于所选卡的质量。选择质量不佳 的microSD 卡可能会导致在部署完成后的几个月内 就发生代价不菲的现场故障。

　　适用于边缘存储应用的美光工业卡

　　凭借闪存技术方面的专业知识和监控应用知识，美光科技开发了一种监控专用的工业级存储卡，用于 IP 视频监控应用中的边缘存储。这种卡具备高耐用性、卓越的录制性能、工业级质量、可监控运行状况的智能工具等优势。

　　参考文献：

　　[1]王莹.众厂商谈智能制造的技术市场动向[J].电子产品世界,2016(42-3):13-18.

　　[21]胡郁.人工智能与语音识别技术[J].电子产品世界,2016(4):23-25.

　　[3]Tom Austin,陈勇.智能机器：区分事实与虚幻[J].电子产品世界,2016(10):7-8.

　　[4]王莹,王金旺.智能感知的市场与发展[J].电子产品世界,2016(10):13-19.

　　本文来源于《电子产品世界》2017年第7期第24页，欢迎您写论文时引用，并注明出处。