新闻中心

EEPW首页 > 嵌入式系统 > 业界动态 > 掌控人工智能的力量:使用莱迪思sensAI快速上手

掌控人工智能的力量:使用莱迪思sensAI快速上手

作者:莱迪思半导体白皮书时间:2019-02-20来源:电子产品世界收藏

      人工智能(AI)如今无处不在。这项革命性科技正逐渐渗透到更多领域,影响范围之广将远超出你的想象。不管从事什么业务,每家公司似乎都或多或少与AI产生联系。尤其是如今人们想方设法将AI运用到自动驾驶汽车、物联网(IoT)、网络安全、医疗等诸多领域。企业领导者应当深刻了解如何将AI运用到他们的产品之中,如果率先采用AI获得成功,迟迟未行动的后来者将会陷入困境。

本文引用地址:http://www.eepw.com.cn/article/201902/397747.htm

  然而AI应用种类各异,各有千秋。不同的应用领域要求的AI技术也不尽相同。目前最受关注的应用类别当属嵌入式视觉。这一领域的AI使用所谓的卷积神经网络(CNN),试图模拟人眼的运作方式。在这 篇AI白皮书中,我们主要关注视觉应用,当然其中许多概念也适用于其他应用。

  目录

  第一节| 网络边缘AI的要求3

  第二节| 推理引擎的选择5

  第三节| 在FPGA中构建推理引擎7

  第四节| 在FPGA上构建推理模型8

  第五节| 两个检测实例10

  第六节| 小 结13

  网络边缘AI的要求

  AI涉及创造一个工作流程的训练模型。然后该模型在某个应用中对现实世界的情况进行推理。因此,AI应用有两个主要的生命阶段:训练和推理。

  训练是在开发过程中完成的,通常在云端进行。推理作为一项持续进行的活动,则是通过部署的设备完 成。因为推理涉及的计算问题会非常复杂,目前大部分都是在云端进行。但是做决策的时间通常都十分有限。向云端传输数据然后等待云端做出决策非常耗时。等到做出决策,可能为时已晚。而在本地做决策则能节省那宝贵的几秒钟时间。

  这种实时控制的需求适用于需要快速做出决策的诸多领域。例如人员侦测:

1550627639303664.jpg

  其他实时在线的应用包括:

1550627652476730.jpg

  在快速决策这种需求的推动下,目前将推理过程从云端转移到“网络边缘”的诉求异常强烈——即在设备上收集数据然后根据AI决策采取行动。这将解决云端不可避免的延迟问题。

  本地推理还有两个好处。第一个就是隐私安全。数据从云端来回传输,以及储存在云端,容易被入侵和盗取。但如果数据从未到达设备以外的地方,出现问题的几率就小得多。

  另一个好处与网络带宽有关。将视频传送到云端进行实时处理会占用大量的带宽。而在本地做决策则能省下这部分带宽用于其他要求较高的任务。

  此外:

  o 这类设备通常都是使用电池供电——或者,如果是电源直接供电,两者都有散热限制,从而给设备的持续使用造成限制。而与云端通信的设备需要管理自身的功耗的散热问题。

  o AI模型演化速度极快。在训练始末,模型的大小会有极大差异,并且在进入开发阶段以前,可能无法很好地估算所需计算平台的大小。此外,训练过程发生的细微改变就会对整个模型造成重大影响,增加了变数。所有这些使得网络边缘设备硬件大小的估计变得尤为困难。

  o 在为特定设备优化模型的过程中,始终伴随着权衡。 这意味着模型在不同的设备中可能以不同的方式运行。

  o 最后,网络边缘中的设备通常非常小。这就限制了所有AI推理设备的大小。

  由此我们总结出以下关于网络边缘推理的几点重要要求:

  用于网络边缘AI推理的引擎必须:

  • 功耗低

  • 非常灵活

  • 拓展性强

  • 尺寸小

  能让你开发出完全具备以上四个特征的推理引擎。它包含了硬件平台、软IP、神经网络编译器、开发模块和开发资源,能够助您迅速开发理想中的设计。

  推理引擎的选择

  将推理引擎构建到网络边缘设备中涉及两个方面:开发承载模型运行的硬件平台以及开发模型本身。

  理论上来说,模型可以在许多不同的架构上运行。但若要在网络边缘,尤其是在实时在线的应用中运行模型,选择就变少了,因为要考虑到之前提到的功耗、灵活性和扩展性等要求。

  • MCU - 设计AI模型的最常见做法就是使用处理器,可能是GPU或者DSP,也有可能是微控制器。但是网络边缘设备上的处理器可能就连实现简单的模型也无法处理。这样的设备可能只有低端的微控制器

  (MCU)。而使用较大的处理器可能会违反设备的功耗和成本要求,因此对于此类设备而言,AI似乎难以实现。

  这正是低功耗FPGA发挥作用的地方。与增强处理器来处理算法的方式不同,莱迪思的ECP5或UltraPlus FPGA可以作为MCU的协处理器,处理MCU无法解决的复杂任务之余,将功耗保持在要求范围内。由于这些莱迪思FPGA能够实现DSP,它们可以提供低端MCU不具备的计算能力。

1550627670611062.jpg

  图1:FPGA作为MCU的协处理器

  • ASICS和ASSP - 对于更为成熟、大批量销售的AI模型而言,采用ASIC或特定应用标准产品(ASSP)或许是可行之道。但是由于工作负载较大,它们在实时在线的应用中的功耗太大。

  在此情况下,Lattice FPGA可以充当协处理器,处理包括唤醒关键字的唤醒活动或粗略识别某些视频图像(如识别与人形相似的物体),然后才唤醒ASIC或ASSP,识别更多语音或者确定视频中的目标确实是一个人(或甚至可以识别特定的人)。

  FPGA处理实时在线的部分,这部分的功耗至关重要。然而并非所有的FPGA都能胜任这一角色,因为绝大多数FPGA功耗仍然太高,而莱迪思ECP5和UltraPlus FPGA则拥有必要的低功耗特性。

1550627682203363.jpg

  图2 FPGA作为ASIC/ASSP的协处理器

  • 单独运行的FPGA AI引擎 - 最后,低功耗FPGA可以作为单独运行的、完整的AI引擎。FPGA中的DSP在这里起了关键作用。即便网络边缘设备没有其他的计算资源,也可以在不超出功耗、成本或电路板尺寸预算的情况下添加AI功能。此外它们还拥有支持快速演进算法所需的灵活性和可扩展性。

1550627727829031.jpg

  图3 单独使用FPGA的整合解决方案


上一页 1 2 下一页

关键词: 莱迪思 sensAI

评论

技术专区

关闭