赛灵思AI产品方向及市场应用

1   嵌入式开发挑战及赛灵思的解决方案

在嵌入式AI 产品落地的过程中，开发者遇到最多的问题或者说挑战主要有三个：①该方案是否灵活可扩展，能够适配不同规模的产品？②是否有简单易用的AI 开发工具以降低FPGA 开发门槛？③如何突破瓶颈，在算力有限的边缘端实现最大性能？ 

赛灵思在2020 年初正式推出了Vitis^TM AI 解决方案，它是一套面向赛灵思自适应  Zynq® SoC，Zynq® MPSoC，Alveo™及Versal™ ACAP 的AI开发平台，它能够为用户带来最强大的机器学习加速性能，这主要通过方案中的神经网络加速引擎DPU、一系列自动化软件工具（定点器、编译器、优化器）和AI运行时来实现。 

与传统的基于RTL语言开发AI加速IP方案的最大不同在于，VitisTMAI 向用户提供一个通用的且可配置的神经网络加速引擎DPU，同时，所配套的软件工具也都完全一致，这就保证了开发者在不同大小的器件、甚至不同工艺制程的器件上灵活切换的可能。其次，VitisTM AI支持主流的机器学习框架，如Pytorch，Tensorflow 和Caffe；在开放模型库AI model zoo中涵盖了上百个经过充分优化、验证及部署的模型文件，其中不乏业界最先进的3D目标检测算法、多任务学习算法、超分辨率增强算法，或时下最流行的Yolo、Mobilenet、RefineDet、ResNet 系列，用户可以免费下载或重新训练；此外，对赛灵思AI部署环节的软件库AI Library 也做了专门的优化，除了用自动化的定点器和编译器将模型转化为可部署形式外，用户还可以直接调用相应的软件API，无需额外开发，从而实现快速部署。最后，为了帮助客户实现边缘端的性能突破，赛灵思在基于VitisTM 统一软件开发平台环境中，集成了大量经过底层优化的加速库，通过C++、OpenCL library 的方式提供给用户，所以除了DPU 对AI 部分的加速以外，我们对包括前处理、后处理的整体应用（全流程）都可以加速，从而可实现边缘端应用的性能最大化。 

2   关注汽车、智慧城市、工业等领域

 赛灵思（Xilinx）在嵌入式人工智能领域主要关注ADAS 及自动驾驶，智慧城市，医疗，工业视觉这几个领域。

 1）赛灵思在汽车领域已深耕多年，随着汽车产业向高度自动化和全自动驾驶方向发展，赛灵思也不断在探索提供符合汽车质量要求的自适应系列芯片及AI 解决方案。具体来说，赛灵思主要关注前视、后视、环视、盲区检测、自动泊车、智能座舱及多传感器融合等，覆盖从L2 到L5 级别的ADAS 及自动驾驶领域的应用。 

2）我们知道，汽车是一个特殊的场景，它对整个ADAS 或自动驾驶系统的实时性和正确性有极高的要求，这就需要嵌入式芯片具备卓越的AI加速能力，以实现低时延、灵活应变的芯片架构，以适配不同的软硬件工作负载，此外还需要满足行业最高的可靠性测试标准，而赛灵思恰恰具备了这些能力。赛灵思在2021年6 月推出7 nm VersalTM AI Edge  系列，和当前Zynq UltraScale+™ MPSoC 系列，都涵盖了汽车等级，并提供行业领先的算力及灵活性。 

其实，赛灵思在目前基于Zynq UltraScale+ MPSoC 的16nm 器件上，已经取得了许多量产成绩，例如斯巴鲁的EyeSight选择了赛灵思产品实现其ADAS系统中自适应巡航控制、车道保持辅助和预碰撞制动等功能；在低速驾驶方案中，自动泊车辅助（AVA）和代客自动泊车（AVP）也有多家客户选择XA 系列芯片及VitisTM AI 来实现环视系统的AI加速。 

对于ADAS和自动驾驶而言，为了保证车辆行驶中决策和控制的快速性及正确性，多传感器融合是一个必然的趋势。如今，汽车搭载了越来越多的传感器，如摄像头、雷达、激光雷达、毫米波雷达、超声波等，赛灵思也为这种多传感器架构带来了巨大价值。赛灵思产品一方面能够增强高级信号处理、点云预处理，另一方面，通过Vitis AI还可以实现点云机器学习加速、Image-Lidar  融合算法加速、4D 雷达机器学习加速等；这些在汽车多传感器方案，甚至5G结合AI的车路协同中都扮演重要的角色。

3）赛灵思产品在智慧城市领域已有广泛的应用，如智慧交通、智慧零售、智慧楼宇等。赛灵思产品除了本身具备灵活的I/O，支持MIPI、LVDS和多种传感器接口、灵活的ISP 支持策略、H264/H265 视频编解码处理单元等能力以外，还具备强大的实时AI处理能力。2021年4 月，赛灵思面向边缘计算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260 视觉开发套件。同样得益于VitisTM AI 所带来的AI性能加速，用户能够在相关的边缘设备上实现多路、最高分辨率达4k、60帧的实时人脸检测、ID跟踪等功能；此外，Kria SoM 也完全兼容赛灵思开放式AI 模型库，用户可以从中选取模型任意切换或重新训练部署，总之，Kria SoM 非常适合智能相机、嵌入式视觉及其它安全、零售分析、智慧城市和机器视觉应用的生产和原型开发。 

4）医疗及工业视觉也是赛灵思嵌入式AI 落地的重要场景。在医疗领域，我们可以提供基于深度学习的医疗影像分析或超分辨率增强，用AI为医护人员在内窥镜、超声、核磁、X光检测等场景提供更准确的判断。自2019 年新冠病毒蔓延以来，赛灵思及业内合作伙伴Spline.ai 利用VitisTMAI，将集成了深度学习处理单元DPU 的MPSoC 边缘器件和AWS物联网服务结合，针对肺部感染及新冠病毒预测系统开发了可扩展的智能解决方案。在工业视觉领域，赛灵思产品也在智慧工厂、智能工业相机、视觉控制等方面发挥重要的影响力，AI的作用主要体现在如缺陷检测、文字识别、实时分析等机器学习支持的预测性维护控制、远程诊断等端上智能化。 

(注：本文部分内容来源于《电子产品世界》2021年9月期)