纵观AR/VR产业链，解读处理器及连接技术

作者/ 王莹  王金旺 《电子产品世界》编辑(100036)

摘要：本文邀请AR/VR行业关键厂商及领军人物，就AR/VR产业的处理器及连接技术进行了深入的解读和分析。

处理器IP及显示

多解决方案满足不同AR/VR应用需求

　　对于VR，用户体验与分辨率、帧速率、延迟和质量等直接相关。因此，我们看到有提高分辨率和帧率的要求;每只眼睛高达4K，每秒刷新率为60到120帧。

　　分辨率和帧速率的同时提高意味着图形处理单元(GPU)现在要为4K120双显示器提供高质量的内容，性能明显高于目前通常用于移动和电视游戏的1080P60单显示器。对于一体式头戴式显示器，这一切都必须满足严格的功率要求才能实现。所使用的GPU硬件在开始设计时就要考虑好移动供电的限制。

   Imagination Technologies的AR解决方案

　　在AR方面，Imagination Technologies正在生产一些能满足场景理解视觉要求的产品。这包括场景照明、场景映射和物体识别。这些产品符合将现实虚拟物体放到AR环境中，使物体更好地融入到场景中这一发展趋势。为了渲染超现实的虚拟物体，通常需要使用光线追踪技术，这也可以充分体现我们硬件光线追踪解决方案的优势。

　　为了在AR中实现场景理解，我们提供了多种解决方案。PowerVR GPU作为图形处理单元，拥有满足AR视觉应用需求的并行架构。此外，PowerVR还为视觉处理提供了硬件解决方案，以性能和效能更高的方式处理视觉数据。

　　Imagination Technologies目前已经在VR产品中部署了多种PowerVR GPU内核。AR和VR有很多价格点和应用，因此，作为SoC公司的IP提供商，Imagination Technologies必须能提供多种解决方案，以便我们的客户能够满足他们专门针对的细分市场的精确区域、功能和性能点要求。为满足各种不同的需求，我们还提供了多种内核。超小型、低功耗Series8XE非常适合入门级专用VR HMD和360°视频，而升级版Series8XEP进一步提高了入门级VR游戏的处理能力。我们还提供高端Series8XT，既适用于中档VR解决方案，又适用于支持4K120的最高端VR功能。

支持嵌入式视觉神经网络的数字信号处理器(DSP)

　　所有嵌入式应用中，AR/VR和混合现实面临着独有的挑战。上述领域的设备大多属于智能头盔、耳机或智能眼镜等可穿戴设备，依靠电池供电，能耗是选择神经网络解决方案时最重要的考量因素之一。AR/VR应用的另一个重要需求是减小延迟，所以神经网络必须实现设备嵌入。所有这些设备都需要某种图像识别、手势识别、立体摄像分割、3D传感、头部跟踪、眼球侦测和眼球跟踪能力。现在的成像技术多种多样，但随着时间的推移，其中某些功能，如语义环境理解、手势识别和图像识别，都将可以通过神经网络实现。除了成像/视觉神经网络，这些设备还对声音/音频神经网络提出了要求，以接收语音指令。

　　目前，实现神经网络有两个主要选择：CPU/GPU或使用硬件加速器及匹配的成像DSP。这两个选择都可以各自解决设计人员面临的一些挑战;但又都在开发的简易程度、功耗效率、延迟、未来升级空间或性能方面有一些令人不满意的折衷。硬件加速器与匹配的成像DSP是嵌入式设备的选择之一，但这一组合效率低下，会产生不必要的功耗。除了开发困难，软件还必须在DSP和加速器之间进行分区。仅卸载卷积层会显著增加数据传送负担，并影响效率。另外，硬件在流片时便已固定，所以这些加速器将不具备未来的升级空间。

　　符合嵌入式应用需要的神经网络DSP解决方案要满足以下要求：易于开发、能够处理庞大的数据量、未来具有升级空间、有效地使用能源并实现延迟最小化。

   Tensilica Vision C5数字信号处理器(DSP)

　　Cadence Tensilica Vision C5 DSP是致力于神经网络处理并适用于多处理器架构的面向视觉和融合传感器应用优化的DSP解决方案。这一解决方案具有存储器结构共享、允许中断、同步队列和同步多处理器调试等特性。Vision C5 DSP可以实现全神经网络层的计算加速(卷积层、全连接层、池化层和归一化层)，而不仅仅是卷积层功能。因此，主视觉处理DSP的能力得以释放，独立运行图像增强应用程序;而Vision C5 DSP则运行推理任务。通过移除硬件加速器的冗余数据传输，Vision C5 DSP的功耗远低于现有的神经网络加速器。

　　Vision C5 DSP具备1TMAC/秒的计算能力，可以满足神经网络不断增长的计算要求;计算精确，拥有多核心设计架构，支持多TMAC嵌入式解决方案。Vision C5 DSP针对的是经常运行多个神经网络的应用。由于其可编程特性，该解决方案具有未来升级空间，并且能够随着设计的改变而支持新分层。

用ARM Mali GPU驱动实现移动VR

　　ARM认为移动产品形态是更容易被客户接受的产品形态。VR包括AR(增强现实)都是很好的能够拉动高端手机市场的应用场景，这类应用对性能的要求非常高，而且性能不只是来自于GPU，也来自于CPU，包括AR可能还需要摄像头的参与，所以VR/AR是全系统的运算方案。

　　在高端的VR游戏运算的情况下，需要很强的GPU、CPU处理能力以及系统设计，所以对整个硬件的要求是非常高的;而在VR的360°视频播放的应用场景中，除了对GPU有要求以外，对视频编/解码器也有较高的要求，需要高分辨率，配合VR设备得到一个沉浸式的体验。