Xilinx用reVISION向视觉学习亮剑

   在人工智能、机器学习兴起的今天，All Programmable技术和器件厂商Xilinx也带来了爆品，发布了全新的reVISION堆栈，剑指视觉导向的机器学习应用。该解决方案无需额外花费，搭载Xilinx的Zynq和处理器平台即可加速设计。可以看到，通过“芯片+软件堆栈”的策略，Xilinx把竞争矛头直指图形芯片厂商——英伟达的Tegra GPU和ADAS厂商Mobileye等。

三问reVISION

   笔者十分感兴趣，reVISION堆栈功能强大，所定位的视觉导向机器学习市场也看上去很有潜力，但是客户是否会先用Xilinx芯片，如果大批量采用时，客户会不会在此基础上自己设计ASIC芯片？Xilinx战略与营销高级副总裁Steve Glaser称，不必有此顾虑。不错，现在确实是有几家初创企业在开发专门的只是用于机器学习的芯片，但是挑战是客户不仅仅要集成机器学习，还有计算机视觉、传感器融合等。所以，Xilinx并不认为会有其他人要或者可以自己开发这么一整套独特的性能组合，因为这个可能要花费几亿美元才能推出第一片芯片，而且从各种规格的确定/落实到第一个样片诞生可能需要长达三年以上的时间。此外在这三年过程中还会有一个挑战：那就是神经网络、算法和传感器都在不断演化，客户辛辛苦苦投入这么多打造出来一个硬件的时候，可能已经无法满足新技术的应用要求了。Steve 表示，唯一看到一个最终用户的设计，就是ASIC解决方案在云方面的应用，那就是谷歌的TPU，是非常专门的机器学习推断的应用。但是即使是谷歌，也很难赶上变化的速度，因为它是一个固定的硬件。

   ADAS是自动驾驶的阶段之一。在ADAS方面，Xilinx最大的竞争对手是Mobileye，“最近我们已经在这方面战胜它了。”Steve分析道，Mobileye提供一种“交钥匙”的解决方案，采用的方法是类似的软件算法再加上芯片。“我们从客户那里也了解到，如果客户使用的是Mobileye，就无法实现差异化。但是如果是用赛灵思技术，他们就能够实现巨大的差异化的解决方案。所以，现在市场上排名前25%的企业，都是以差异化占据鳌头的企业，而他们使用的都是Xilinx的产品。虽然Mobileye的市场份额有50%~ 60%，但是这些企业都不属于追求差异化设计的企业。”

Xilinx的SoC里含有FPGA，通常FPGA较贵，是吗？

   实际上，ZynqSoC是一个高度集成的解决方案。现在已经实现了更低的定价，而且推出了更低端的单核产品；同时也推出了高端的4核、7核异构芯片，所以价格有从10美元直到几十美元的组合。可见，在量方面，Xilinx已经建立了一个非常强大的成本优化的产品组合，能够提供非常好的量化的性价比。当然，也不会达到消费级（例如上千万、亿级）的这么高的量。

reVIOSN如何满足机器学习？

   具体地，分析一下机器学习，如图1。纵轴是行业应用，是电子领域高度成长性的应用；横轴是应用的端，看是否靠近云。有些应用是三者兼顾，既在终端又在云。

图1 机器学习领域

   4个月前（2016年11月），Xilinx曾推出了可重配置加速堆栈，面向最右侧的云应用。此次是reVISION堆栈，主要针对左侧应用。

当前客户有从左向右转型的需求：不仅是左边的简单的传感器，还有右侧的机器学习的需求。例如，左边的应用都是非常简单的传感器的配置，通常是各种各样的摄像头，然后加上核心的技术——计算机视觉处理技术来识别整个框架环境中的物体。但是现在慢慢转向右边的应用转变，右边的应用会越来越使用各种不同类型的传感器技术，然后再加上图像传感器，还要和机器学习实现智能的融合。比如说，我们过去是在工厂里有机器，右侧使用各种传感器，还要进行计算和融合。我们过去工厂里的机器人是在笼子里来完成它们的工作，但是现在已经有了新一代的协作机器人，它们与人肩并肩工作，而且它们是可以移动的。同样，在ADAS里包含有前视汽车摄像头，但是现在为了要支持自动驾驶汽车的发展，摄像头也是多种多样，会有不同的传感器，比如长程和短程的雷达、激光雷达、超声波技术等各式各样不同类型的传感器。而且还有机器学习的融合，使得这些车辆在行驶时能够做出自己的决策。

   从嵌入式视觉到自主系统，主要有三个应用的使命／要求。1.希望智能性及系统及时响应，例如行人在车前快速通过。2.希望升级到最新的算法和传感器的灵活性，因为神经网络和深度学习的算法都在改变，而且传感器的类型和组合也在变化，客户希望能立即升级。3.万物互联，需要随时与其他机器和云保持连接。

   Xilinx的SoC处理器和reVISION堆栈等能够满足以上三个方面的需求。

   目前，已有几百家客户正在用Xilinx的芯片在开发自主系统，他们拥有很强的硬件知识，也投入了很多精力和时间，但reVISION最重要的优势是可取消采用芯片的障碍，使没有硬件专业知识的用户也可以来应用，因此可支持图1左边及一些混合芯片。

因此，reVISION堆栈(图1左侧和中部)和可重配置加速堆栈（图1右侧和中部），再加上此前使用Xilinx器件做安全控制系统等部分（图1左侧）。现在Xilinx已经能够支持机器学习中从端到云绝大多数的应用。

reVISION可完成80%的设计工作

   reVISION堆栈与传统开发方法的比较如图2。纵轴是开发时间，横轴是开发方法。过去RTL使设计大大加速。大约在六年以前，Xilinx推出了新的提高效率的工具——基于RTL的硬件设计的工作流程，使得整个过程能够大大加速。现在已经有几百家客户在使用这样的工作流程来处理计算机视觉。据Xilinx所知，其中有40多家企业已经在用Xilinx的器件进行机器学习方面的开发。

图2 Xilinx机器学习相关的开发工具演进

   不过采用这样的方法，开发所投入和精力还是相对比较大的，但是这种付出还是使他们获得了很大的优势。为了提升效率，大约在一年半之前，Xilinx推出了首个软件定义的编程环境——SDSoC，基于Xilinx的Zynq SoC芯片，主要是嵌入式的应用。现在Xilinx已经有1100多名付费的用户，他们支付相关的许可费，其中有半数都是专注于视觉方面的应用。

   但是，这虽然提高了效率，还没有达到Xilinx或者客户所希望的目标，客户希望能够有符合行业标准的库和框架，帮助客户继续压缩开发时间。所以，此次推出的reVISION堆栈，可以使开发时间可以大大缩短。

   所以过去Xilinx提供芯片及20%的开发工作，但现在可以完成80%工作。

低时延优势

   根据英伟达 TX1的公开资料，Xilinx测算其reVISION方案在计算机视觉领域的优势达40倍以上，时延只有1/5。为什么低时延能够实现快速响应的系统非常的重要？假设一辆小轿车跟在一辆小货车后面，这个小货车突然进行紧急停车。后面的小轿车的时速是65英里，英伟达TX1方案的响应时间是49~320ms，而reVISION只有2.7ms！

   为何Xilinx能实现响应速度很快？典型的嵌入式GPU和典型的SoC比较中可见（图3），在这样的情景之下，传感器的数据需要外部存储，之后在处理的步骤中，也需要不断地去访问外部存储。如果是Xilinx的Zynq器件，客户能够简化获得直接的数据流（图4右），直接经过传感器、传感器的处理，还有机器学习，一直到控制。这就会对响应的时间造成很大的影响，除此以外，还会影响到可预见性，也就是客户所说的决定性，他们希望整个过程是可以预见的，可以确定的，并且响应速度要很快。所以Xilinx能够提供非常快速的决定性的响应，而Xilinx的同类竞争产品的相应速度要慢很多，而且是不可预见的。

图3 Xilinx的Zynq在时延方面与GPU等的比较

可配置性

   reVISION的另一项非常独特的功能，就是硬件和软件的可重配置性和可编程性：既支持硬件，也支持软件的可重配置和可以编程。对于下一代的机器学习来说，这种可重配置性至关重要。

   机器学习尽管在1958年就出现了，但过去两年里机器学习所取得的进步等于之前45年取得的所有成果之和——不仅出现了新的神经网络和算法，而且对于这些嵌入系统更加有效的实施也有了新的方案。

   例如，在一些实施方案当中，之前最先进的是浮点方案，这个方案对训练来说是非常合适的，但是在推断方面，因为推断要受到成本和功耗极大的限制，浮点就不那么合适。所以这种实施方案也在不断的演进，从8位下降到4位，甚至最后到1位，所有的一切都是在一个神经网络里进行，只不过这个神经网络分成不同的层次，每个层次对应不同的精度。所以，可重配置性是非常关键的，只有具有可重配置性，才能够持续的升级到最新最好的机器学习的技术。但是可重配置性对于升级到新的传感器技术，并且支持不同的传感器配置也很重要。

满足传感器融合需要

   另外，传感器类型和配置出现了爆炸，业界称之为传感器融合。此外，人工智能和机器学习的不断扩展驱动了这种传感器融合的趋势，所以也需要可重配置性来跟上这些变化的步伐。

   总之，reVISION消除了向广泛视觉导向机器学习应用扩展的障碍，扩大了机器学习应用从端到云的开发和部署。

小结及感想

   笔者猜想，reVISION是reality vision（真实视觉）的合成词。人工智能包含多个部分，Xilinx选择了视觉导向的机器学习这一分支。然而，仅仅SoC芯片是不够的，Xilinx在软实力方面下了很大功夫——包括此次推出的reVISION堆栈，以及此前的可重配置加速堆栈等，使其方案覆盖了整个物联网的视觉学习领域（图1）。

   可见，Xilinx不仅在芯片设计和先进制程工艺方面走在前列，也十分重视软件的作用（注：笔者猜想这与现任CEO及部分核心领导团队成员来自EDA软件公司Cadence有关）。几年前，该公司的一位资深VP曾透露其软件人员数量已经超过了硬件人员，应该说，那时Xilinx已经是名副其实的软件公司了。但是Xilinx也意识到软件需要在硬件的基石上实现，因此今天看，Xilinx强大的软件商业策略是其芯片向视觉学习领域发展的强大推进器。

   不是吗？ARM SoC引擎有一大波，可谓宿将与新生代云集，各有各的背景和高招。作为从FPGA跨界进入ARM SoC市场的后来者，如何避免同质化，超越竞争对手，确实需要智慧。依托强大的定向软件助力，Xilinx这一招走得很妙！