应用于自动驾驶的边缘 AI 视觉

作者/赛灵思视觉智能战略市场开发总监 Dale K.Hitt

边缘 AI 的发展日新月异。要想在这样的环境中立足并获得发展，在所有层面进行灵活应变至关重要。赛灵思技术可为边缘 AI 提供最深度的灵活应变性，能针对不断变化的要求实现动态优化，甚至可实现晶体管级优化。

赛灵思旨在利用边缘 AI 视觉帮助实现自动驾驶车辆，让城市更安全，让工厂具有更高生产力，这也是业界最大发展趋势所在。上述技术创新在众多层面不断快速演进发展，如系统、算法以及传感器层面等。赛灵思技术可对芯片上的晶体管功能进行深层的细化控制，从而帮助创新人员实现更高的灵活应变性。

这种 AI 创新在自动驾驶汽车的开发中日益显现。例如BMW 760i（2010 款）中的早期主动巡航控制使用单一的前视雷达……最新投产的特斯拉 Model 3 将传感器配置提升为 8 个高分辨率视频摄像头、12 个超声波传感器和一个前视雷达，可实现司机监控操作的自动驾驶功能（仅作为驾驶辅助功能，并非完全自动驾驶）。随着全自动驾驶汽车面临的挑战不断得到解决，传感器的数量与类型也将持续增加，LIDAR、红外线视频等技术将崭露头角，雷达与摄像头的数量也越来越多。

自动驾驶汽车中的每一个传感器都需要得到精密算法的支持，算法可以生成传感器数据的感知解读。最新趋势是利用深度学习算法来生成感知解读。不过，深度学习算法必须通过大量可能出现的情境加以训练，才能学会如何去解读各种可能出现的传感器数据。训练后，为了实现车辆的安全操控，深度学习算法需要极低时延的超高计算性能。这必须通过低功耗热约束且延长电动汽车的电池续航时间来实现。赛灵思可提供所需的高性能、功率效率和自适应性，充分满足自动驾驶汽车中边缘 AI 的需求。

边缘 AI 性能实证（与 NVIDIATegra TX2 相比）：

·3 倍的机器学习推导性能；

·42 倍的传感器处理性能；

·每幅图像实时性能的时延仅为 0.33ms。

挑战

最严峻的挑战是边缘 AI 深度学习领域的快速变化。赛灵思是自适应芯片技术领域的领先者。ASIC 技术无法做到深度适应；

深度学习算法发展迅速。2017 年以来的众多领先解决方案现已过时。现在的功能更为强大，但对计算的要求更高，同时还需要改变所需的硬件优化；

应用：传感器、预处理、跟踪、融合……；

用途：识别、本地化、分段、存储、深度……；

网络结构：CNN、RNN、SSD、LSTM、SEGNET……；

网络优化：剪裁、压缩、层融合……；

计算优化：可变精度、存储器层级；

传感器也在快速变化：（可影响连接、传感器预处理以及边缘 AI 计算性能要求）；

更高性能（分辨率、帧率）；

每种类型的传感器数量增加：12 个摄像头、多达 10 个激光雷达、雷达和红外线；

新型传感器：RGB 摄像头、景深摄像头、激光雷达、雷达、红外线、超声波；

新的连接方式/预处理：分布式处理、CNN ISP、立体深度……；

硬件更新速度必须越来越快，才能避免被淘汰。一些硬件在产品投产之后可能还需要更新。其他技术可能需要在产品召回后才能对芯片进行更新。

解决方案

从本质上讲，赛灵思技术具有最强的灵活应变性。我们提供的工具能帮助创新人员深度优化边缘 AI 和传感器处理。

深度学习推导工具能自动针对新网络优化赛灵思硬件。（xfDNN，chaiDNN）；

软件工具能自动适应硬件要求，并支持新的传感器配置和处理。（SDSoC，Vivado）；

开发系统包括软件工具、电路板、传感器和芯片，可快速投入运行。

合作伙伴生态系统能提供经优化的边缘 AI 和传感器解决方案。

其中，工具方面有：Deephi–ML 推导优化；Mathworks–算法开发工具。

IP方面有几十家合作伙伴，包括：Xylon–传感器处理 IP；Omnitek–视频处理 IP；传感器到成像–连接 IP；Pathpartner–编码解码器 IP。

开发系统方面有：AVNET；Digilent。