英特尔酝酿已久的“杀手锏”，神经网络处理器威力有多惊人

　　虽然Carey Kloss口风很紧，但关于Nervana神经网络处理器，科技行者还是在与他的聊天中，拿到以下犀利信息：

　　1、Lake Crest和Spring Crest的主要区别

　　Lake Crest作为第一代处理器，在GEMM(矩阵运算)和卷积神经上都实现了非常好的计算利用率。这不仅仅是指96%吞吐量的利用率，而是在没有充分定制化的情况下，Nervana也在大多数情况下实现GEMM高于80%的计算利用率。当开发下一代芯片时，如果能够保持高计算利用率，新的产品在性能上有3到4倍的性能提升。

　　2、Lake Crest计算利用率达到96%，为什么到Spring Crest不升反而降了?

　　这是一个市场策略，把利用率适当下降。有些情况确实可以实现98%，在没有资源冲突时，每个硅芯片都完全运行的情况下，可以达到99%甚至100%计算利用率。但英特尔想展示的是大多数情况下能能实现的利用率，所以适当调整了。

　　3、为什么Nervana芯片的发布节奏一再延期?

　　分为两个阶段，Nervana在2014年成立之初就开始研发Lake Crest，，当时整个团队大概45人，正在构建一个最大的Die(硅芯片)，我们开发了Neon(深度学习软件)，还构建了云栈，这些都是小团队所完成的。但这也是挑战所在，小团队成长会有阵痛，Nervana花了很长时间才把第一批产品拿出来，直到去年芯片才真正问世。关于Spring Crest为何选择2019年年底推出，因为需要集成更多的Die(硅芯片)，获得更快的处理速度，但需要一定的时间去制造硅片，也需要硅片变成新的神经网络处理器，这是延迟的原因。目前来看，Spring Crest正处于合理的节奏中，已具备明年取得成功的所有要素。

　　4、延迟给英特尔带来了哪些不利影响?

　　Carey Kloss并不认为英特尔会在神经网络处理器上处于劣势，因为英特尔的反应速度相对较快，比如逐步转向bfloat是一个重要因素，它是业内广泛采用的针对神经网络的一种数值型数据格式，很受市场欢迎，未来英特尔将在人工智能产品线上扩大对bfloat16的支持，包括至强处理器和FPGA。

　　5、拿nGraph与CUDA相比：没在怕的

　　抛开硬件层面，英特尔还在软件部署上加足马力。目前，英特尔AIPG事业部正在开发名为nGraph的软件，该软件是一个框架中立的深度神经网络(DNN)模型编译器。英特尔正在把TensorFlow、MXNet、Paddle Paddle、CNTK和ONNX等深度学习框架集成在nGraph之上。

　　同样是一个平台概念，很多人喜欢拿GPU代表企业英伟达与英特尔做比较，事实上，Carey Kloss就直言了nGraph与竞争对手CUDA平台的区别。

　　“nGraph与CUDA还是不一样的。CUDA你可以理解为 nGraph的底面，我们称之为变压器。nGraph通过一个固定的API接收来自TensorFlow，Caffe或MXNet的输入，然后通过图形编译器进行性能优化，排除一些不需要的东西，然后将其发送给CPU的MKL-DNN。所以CPU仍然使用MKL-DNN，即使在nGraph中也是如此。“不难看出，英特尔也有意把芯片开发放在统一平台上，将nGraph打造成为开发基于所有英特尔芯片的AI应用程序的接口做统一。

　　相比于新一代Nervana NNP-L1000还处于研发阶段，英特尔另一款专注于计算机视觉的芯片VPU实际已经商用。关于这款芯片，英特尔又寄托了怎样的市场期望，来看另一位同样在画框外的大神的解答。

　　Movidius VPU：可能是计算机视觉领域的杀手级应用，包括Windows 10

　　Gary Brown是英特尔Movidius营销主管，他的主要工作是将Movidius研发的产品买到一个好市场，把买卖做大。他对科技行者说，“任何与计算机视觉和摄像头有关的东西都能够用到Movidius”。

　　英特尔Movidius营销主管Gary Brown

　　在Movidius研发的芯片被称作视觉处理单元VPU，是一种兼具计算机视觉和智能摄像头处理器的芯片，所做的处理分为三类：第一类是ISP(图像信号)处理，第二类是基于摄像头捕捉技术的处理，第三类是计算机视觉和深度学习。据Gary Brown透露，目前VPU在VR产品、机器人技术、智能家居、工业摄像头和AI摄像头、监控和安保领域“生意”了得。

　　之所以广受欢迎，无疑是VPU所具备的两点优势：一是能直接在本地摄像头上运行神经网络，与把数据传送到云端再发送回本地相比，延迟更低、用电量更少、时间更短，也意味着更低的带宽和成本;另外一点则是节能技术，用前端算法降低功耗，就可以关闭大部分芯片，只运作小部分最优化的面部检测功能，而当一张脸出现时，其他芯片则被启动，这样能一直保持面部监控系统开启，对于家用摄像头续航6个月没问题。目前，Movidius还在最新产品Myriad X的VPU中加入神经计算引擎，能将芯片在深度神经网络中的性能提升10倍。

　　“抓拍神器”谷歌 Clips相机是VPU的另一个典型应用。这块体积小巧甚至连屏幕都没有的相机却可以“自动”记录下画面，实际上背后正是VPU在发挥作用。以AI驱动摄像头，听上去很酷，但这还只是VPU应用的“冰山一角”。因为英特尔对VPU还寄希望于更大的“生意”，远远超出了硬件范畴，十分重视与软件巨头微软Windows 10的合作。

　　“Windows 10可能即将成为Movidius VPU巨大市场之一。”Gary Brown变得兴奋起了，“微软最近为Windows 10研发出新的API，叫做Windows ML，代表机器学习，大家可以为Windows 10写应用，将机器学习转移到Movidius VPU，开发人员能够运用Windows ML进行应用开发，比如视觉应用、视频会议应用、智能助手进行图片搜索，通过图像识别功能搜索有趣的事情。”也就是说，如果在Windows 10系统中运用了Windows ML，就意味着无需一定要在CPU上运行机器学习了。

　　Gary Brown还表示，目前也有PC厂商和他洽谈将VPU直接放入电脑的新模块，但名字不方便透露。

　　除了芯片在市场“声名远扬”， 让人出乎意料的是Movidius的另一个强项竟然是软件。因为“Movidius团队很多成员属于开发组，硬件只是我们产品的一部分，而软件开发者工具包包含库、驱动、开源和对应固件，也是Movidius产品线之一”，Gary Brown还表示，英特尔新版本的软件开发者工具叫OpenVINO，该工具包能够帮助开发者在云端(例如TensorFlow， MXNet和Caffe等热门框架)创建和培训AI模型，并将其部署到各种产品中，像Movidius与海康威视的合作就是采用这种模式。

　　目前Movidius的客户有75%集中在物联网领域，这并不稀奇。如果对Movidius稍有了解，会知道其实这家计算机视觉初创公司最早由英特尔物联网部门在一年半前负责收购，为了输出更全面的AI能力，现在英特尔内部各部门之间都有着蛛网般交织的关系，包括AI在物联网的渗透，这也是英特尔最重要的业务之一，如何打这张“组合牌”?又一位大牛登场了。

　　英特尔AI x IoT：重点放在“智能”物体，不只是计算能力

　　Jonathon Ballon是英特尔物联网事业部副总裁，擅长归纳的他，开场就抛出了大会关于物联网内容的三条总结：

　　物联网没有一个万能的架构，根据不同的场景有许多种架构;

　　不是所有的人工智能都发生在数据中心端或云端，人工智能运行在分布式计算架构中：从云端、网络到边缘设备;

　　英特尔在软件工具方面做了很大投资，英特尔相信软件是硬件平台实现差异性的重要因素，nGraph和OpenVINO这两个工具的互补性，能够让异构架构发挥出最佳性能。

　　英特尔物联网事业部副总裁Jonathon Ballon

　　言简意赅，正如Jonathon Ballon所言，物联网没有一个万能的架构，但要如何一击即中?英特尔似乎有独特的思考与门路。

　　“我们重点放在智能物体上，不只是计算能力。”Jonathon Ballon进一步解释，“一台带有芯片的设备，具有计算能力，这叫做计算设备，但这并不意味着它是智能的。当把计算设备连上网络，把数据分离出来，这时这个设备称为物联网设备，但它还不一定是智能设备。物联网设备和智能设备之间的区别是：后者有学习能力，这就是人工智能能够发挥巨大作用的地方。”