支持嵌入式视觉神经网络的数字信号处理器(DSP)

Cadence IP事业部Tensilica Vision DSP产品系列营销总监 Pulin Desai

　　在手机、安防监控、汽车、增强现实/虚拟现实(AR/VR)领域，无论正在开发的还是计划中的各类嵌入式应用都涉及到了神经网络，神经网络应用正在呈爆炸式增长。神经网络领域创新力非凡，其自身架构不断更新换代，新网络、新应用和市场也层出不穷。随着神经网络应用的日益深入和复杂，对计算性能的要求也与日俱增。短短不到4年的时间里，MAC/帧的计算需求大约增长了16倍(见图1)。

图1 MAC/帧的计算需求的增长

　　随着神经网络的发展，在设备中嵌入处理器(而非使用CPU和GPU)的需求不断增加。然而，网络的处理能力和运行速度并没有跟上神经网络应用的发展要求，这一冲突在视觉应用领域尤为明显。截至目前，满足神经网络应用需求只能借助传统数据中心的资源。然而，随着安全性和延迟成为重要的考虑因素，通过嵌入式系统实现神经网络愈发普遍，以实现实时数据处理。虽然大部分的神经网络训练可以在线下实现，但使用神经网络的应用必须将其嵌入至系统中。

　　所有嵌入式应用中，AR/VR或混合现实面临着独有的挑战。上述领域的设备大多属于智能头盔、耳机或智能眼镜等可穿戴设备，依靠电池供电，能耗时选择神经网络解决方案时最重要的考量之一。AR/VR应用的另一个重要需求是减小延迟，所以神经网络必须实现设备嵌入。所有这些设备都需要某种图像识别、手势识别、立体摄像分割、3D传感、头部跟踪、眼球侦测和眼球跟踪能力。现在的成像技术多种多样，但随着时间的推移，其中某些功能，如语义环境理解、手势识别或图像识别，将都可以通过神经网络实现。除了成像/视觉神经网络，这些设备还对声音/音频神经网络提出了要求，以接收语音指令。

　　在技术环境瞬息万变的今天，AR/VR设备制造商需要现在立即为2019年、2020年甚至更晚上市的产品选定平台。引入新的神经网络后，由于其架构不断变化，我们无法确保当前有效的工作平台在未来系统中的有效性。此外，这些应用还要求实现低延迟和低功耗，这一点也尤为重要;但鉴于神经网络需求的不断增长和这一趋势的不断进展，我们仍需保证一定的灵活度和前瞻性。

　　目前，实现神经网络有两个主要选择：CPU/GPU或使用硬件加速器及匹配的成像DSP。这两个选择都可以各自解决设计人员面临的一些挑战;但又都在开发的简易程度、功耗效率、延迟、未来升级空间或性能方面有一些令人不满意的折衷。硬件加速器与匹配的成像DSP是嵌入式设备的选择之一，但这一组合效率低下，会产生不必要的功耗。除了开发困难，软件还必须在DSP和加速器之间进行分区。仅卸载卷积层会显著增加数据传送负担，并影响效率。另外，硬件在流片时便已固定，所以这些加速器将不具备未来的升级空间。

　　符合嵌入式应用需要的神经网络DSP解决方案要满足以下要求：易于开发、能够处理庞大的数据量、未来具有升级空间、有效地使用能源并实现延迟最小化。

Cadence解决方案：Tensilica Vision C5数字信号处理器(DSP)

　　作为面向视觉和融合传感器应用优化的解决方案，Cadence Tensilica Vision C5 DSP是业界首款致力于神经网络处理并适用于多处理器架构的DSP。这一解决方案实现了前所未有的速度和低功耗，并满足高阶神经网络技术的全部要求。

　　该解决方案以近20年的Xtensa多处理器经验为基础，具有存储器结构共享、允许中断、同步队列和同步多处理器调试等特性。Vision C5 DSP可以实现全神经网络层的计算加速(卷积层、全连接层、池化层和归一化层)，而不仅仅是卷积层功能。因此，主视觉处理DSP的能力得以释放，独立运行图像增强应用程序;而Vision C5 DSP则运行推理任务。通过移除硬件加速器的冗余数据传输，Vision C5 DSP的功耗远低于现有的神经网络加速器。

　　Vision C5 DSP具备1TMAC /秒的计算能力，可以满足神经网络不断增长的计算要求;并且计算精确，拥有多核心设计架构，支持多TMAC嵌入式解决方案。Vision C5 DSP针对的是经常运行多个神经网络的应用。由于其可编程特性，该解决方案具有未来升级空间，并且能够随着设计的改变而支持新分层。

　　视觉处理系统必须设计全面，适用于所有平台，并同步开发硬件和软件。为了开发这项技术，设计人员必须使用支持高效算法的工具和IP，采用的硬件平台也需满足每个应用程序的目标成本和功耗要求。从系统层面来看，Cadence可以支持嵌入式视觉设备的设计人员尽可能最快速的高效地开发变革性产品。