新闻中心

EEPW首页 > 智能计算 > 编辑观点 > AI视觉市场潜力大,爱芯元智用自研IP打造芯片平台

AI视觉市场潜力大,爱芯元智用自研IP打造芯片平台

作者:王莹 《电子产品世界》时间:2021-09-28来源:电子产品世界收藏

近年来,本土涌现了一批AI芯片的初创企业。其中有这样一家公司,成立只有2年多,已经完成三轮融资,发布两颗自研芯片。这家公司就是爱芯元智。该公司有何独特能力?AI视觉市场的前景如何?近日,该公司宣布进行一轮品牌升级。值此机会,电子产品世界等媒体采访了公司创始人兼CEO仇肖莘女士以及研发副总裁刘建伟先生。

本文引用地址:http://www.eepw.com.cn/article/202109/428563.htm

image.png

图 爱芯元智 创始人兼CEO 仇肖莘

1   更名为“爱芯元智”

2021年9月,爱芯科技正式更名为爱芯元智半导体(上海)有限公司(简称为“爱芯元智”),并宣布完成品牌升级。品牌升级后,爱芯元智将向行业及合作伙伴传递全新的品牌理念、品牌元素、技术产品方向和落地情况等一系列内容。

爱芯元智成立于2019年5月,专注于打造高性能、低功耗的AI视觉处理器芯片。核心技术产品支持多种AI视觉任务,广泛适用于智慧城市、智能社区、智能驾驶、智慧零售、智能家居、智能穿戴等多个领域。爱芯元智自主研发的第1颗AI视觉处理芯片AX630A已在2020年12月实现量产,第2颗芯片AX620A也已经于2021年7月成功点亮,即将开始正式的客户推广。

1632802286682018.png

爱芯元智品牌名称变更灵感来自其英文名AXERA——意为爱芯的时代,同时诠释了爱芯元智的技术独创性和保持初心、坚持原创的企业理念。这不仅体现了爱芯元智作为创业公司的朝气和活力,更是代表了其品牌愿景——成为AI视觉芯片行业的领导企业。

1632802303903964.png

2   AI视觉:赛道广阔待开创

边缘侧、端侧的AI视觉处理领域的赛道非常广阔。过去几年,AI已开始落地,且对于环境的“感知”变得越来越重要。因此,相关的AI芯片的发展空间非常巨大,而且能够真正影响到每个人的日常生活。以下是两个案例。

●   传统摄像头的升级改造。

现在很多摄像头是不带算力的,有智能化升级改造的需求。通常有两种方法:①全部替换;②增加中间节点,即增加智能处理的盒子。爱芯元智的方案就可用于第2种应用,例如有20路的1080P视频流,可以用单芯片去把这些视频流做解码,同时做车辆/车牌的检测,运行这套方案的功耗小于3.5 W。

1632802324750432.png

●   计算摄影:超越人眼所见。

在爱芯的实验室里有这样一个展示,暗室里的灯全关了,人眼看不到任何展示,但是相机能够把暗室里的图像获取出来。关键在于信噪比(SNR),人眼在SNR小到一定程度的时候就区分不出来了。芯片处理能够把噪声抑制下去,这样藏在噪声里的信号就能被恢复出来。这主要靠计算摄影,通过计算来恢复出来“消失”的信息。

虽然AI视觉市场很大,但作为一家初创公司,爱芯的策略是准确定位自己产品的销售方向,在众多碎片化的应用里选出应该瞄准的目标。因此,匹配的市场一定是能够把爱芯的芯片能力发挥到极致的市场,而且这种市场起码现在友商还是做不到的。

在产品定位上,爱芯现在的大部分客户都是视觉+计算,例如暗光、夜视能力强的场景(如下图)。

1632802350249123.png

图 夜间视频效果对比(已做人物隐私保护)

但是也有很多纯Pre-ISP(图像信号处理)的视觉小芯片客户,例如翻译笔市场,它的前端有一个小摄像头,一扫就相当于连续拍了几张图片,把这些图片拼接成一句话,然后再用AI扫描这句话进行翻译,所以说到底就是通过摄像头感知,后面加了小计算。此外,扫地机器人也是一种,原来没有什么AI能力,主要靠激光雷达等感测,现在有了轨迹规划能力。

3   相比同类产品的三大特色

很多设计公司和工程师有自己的长期合作伙伴,且它们也在开发AI芯片。作为后来者,爱芯元智如何争取到这些客户?其优势如下。

1) 核心IP自研。这一点非常重要。因为很多家芯片企业关键的IP是外购的,例如买ISP或NPU把它加进去。但是这样的芯片性能取决于IP供应商,缺乏发展后力。

2) 注重技术上的创新。爱芯元智不希望做Me too(我也有)的产品,所以爱芯的ISP设计没有沿用传统ISP设计的pipeline,而是采取弯道超车——用AI的方式取代了ISP里至少4个模块。爱芯的秘密武器在于,传统ISP都是硬件pipeline,因此每次想升级都要重新流片。例如一些龙头企业做了十几年的,已有十几代流片的经验,经过十几代不断优化才做到了今天这个水平。因此若想在一两年之内赶上,一定要采取不同的方式。爱芯的方式就在于把ISP里很多关键模块软件化,好处是只需迭代模型,性能就可提升。所以从2020年旗舰款芯片AX630A推出到现在,爱芯ISP每2周就有新模型推出,画质一直在不断提升。  

1632802407441989.png

3)能够给客户提供差异化的性能。例如画质做得很好。客户第一个认可的就是爱芯AI ISP的性能,尤其是做智能交通,爱芯的AI ISP在暗光下表现出色,这刚好是该客户的一个痛点。

算力方面,如果将芯片比作智能手机,大算力相当于把一个“专家系统”装到爱芯的芯片里,这个装的过程其实就类似于开发APP的过程。以前结婚等活动需要找一个专职的摄影团队来跟拍、剪辑,有了大算力之后,就相当于把这个摄影师装到爱芯的芯片里,就可以实时分析拍到的素材,按照摄影师的角度提供一些视频剪辑的操作,省去了多角度跟拍、剪辑等环节。

4   两大硬核IP

爱芯有两大核心IP:①业内领先的混合精度的NPU,即AI的运算单元;②AI ISP。二者的关系是:混合精度NPU是计算平台,AI ISP(图像信号处理器)是基于该平台实现的一个核心应用。

1632802428911282.png

1) 混合精度的NPU

爱芯的优势:①整个NPU效率的提高,因为减少了数据搬运,从一定程度上减小了数据墙和功耗墙的阻碍。②爱芯的整个算法和NPU的混合设计,能够突破硬件的一些限制,达到更优的水平。

●   提升有效算力

在AI算法方面,现在都在谈NPU的算力,诸如10T、100T、200T等,但是这种标称算力着重于NPU核里有多少计算单元,然后根据计算单元每秒能做多少操作来计算出TOPS。但是真正跑任务时,计算单元大部分时间跑不到标称的算力。可见NPU的效率比标称算力更重要。

阻碍NPU计算单元发挥作用的一个重要原因是数据搬运。业内有一个共性问题——数据墙,意味着尽管有计算单元,但是如果数据搬运不过来,那么这些计算单元大部分时间是闲置的。所以宣称10T算力没用,因为效率如果只有15%、20%,有效算力也就是1.5T、2T。

现在业内有很多存算一体的架构试图解决这个问题,但是离量产还有一定的距离。爱芯元智从另一个角度来解决数据搬运的问题:把需要搬运的数据量减下来。爱芯的混合精度NPU减少了数据搬运。因为传统NPU的数据表示格式一般是8比特、16比特,才能最后得到AI算法的精度;但是爱芯研究发现,AI网络中有很多层不需要如此高的表示精度,有的2比特、4比特就足够了。在此情况下,整个网络数据表示或所需要的数据量,平均4比特就足够了。这样,相比原来的8比特网络,数据搬运量可能就变成原来的1/4。从这个角度来看,爱芯能够提升现在NPU的使用率和效率,能在单位面积内提供数倍于传统NPU的等效算力,同时还能把成本和功耗降下来。

●   NPU设计理念的革新:算法和芯片协同设计 

传统的方法是算法是算法,硬件是硬件。而爱芯元智的方案是协同设计、相互迭代,能不断让算法设计和硬件设计得到优化。

1632802448589536.png

具体地,爱芯的算法团队可以提供算法网络的结构、量化需求/算子需求、内存访问的需求等很多详细信息给NPU设计的架构师。爱芯的硬件架构师根据这些算法的需求来调整或优化整个NPU的设计。这样能使算法跑起来的效率达到优化的水平。

同时硬件工程师会把算子硬件加速,例如数据流优化、存储优化、量化限制、硬件限制等硬件限制提供给算法工程师,这样算法工程师在设计算法时,可以考虑到硬件限制,从算法的角度来规避一些硬件上的短板。

经过上述改进,AX630A与一家竞品进行了实际效果对比,如表1,可以看到在公开数据集上,即Imagenet上跑Resnet50开源网络。在Resnet50的精度基本不变、相似的情况下,竞品1秒只能处理约90几帧的图片流、视频流,爱芯630A能够处理1 300多帧的图片流、视频流。可见AX630A有非常大的性能提升。

表1 网络运行速度对比

1632802465939510.png

另一家客户在运行一些私有数据集上的实际应用结果显示,在检测方面,竞品在720P图片上检测1帧图片大概需要33 ms,爱芯在分辨率更高的1080P大图上运行只需4 ms。可见性能相差了几倍。

2)AI ISP

ISP主要指图像信号处理的流水线(pipeline),爱芯的设计方法颠覆了传统的ISP纯硬件的思路,把ISP里的关键模块AI化,所以叫AI ISP,优势是打破了传统ISP算法的天花板,并且通过持续的AI算法迭代可在最短的时间内把图像处理的效果达到行业新高度。

爱芯元智AI ISP能够用AI的方式完成ISP里的几个关键模块,例如高动态、3D降噪、锐化色彩还原等成像的关键功能,这得益于爱芯的ISP设计,ISP与NPU也有一个联合设计,这样就能把整个NPU的能力在ISP的pipeline上使用起来。

从一款手机的实验演示上看,用了爱芯AI ISP之后,除了能做降噪、高动态,另外一个非常关键的作用是能够提升图像的分辨率。分辨率为什么重要?例如手机、电视上有很多小视频,绝大部分的分辨率是720P,最好的是1080P,如果把这些视频在4K、8K的电视上去显示的时候,就会发现分辨率非常差。所以爱芯正在研发的另一个技术是怎样把一个较低端的视频源用AI的方式去变成4K、8K的质量。

5   两款芯片覆盖高端和大众领域

爱芯目前已发布两款芯片,AX630A是高端旗舰产品,AX620A面向主流市场。它们都强调高算力,低功耗,高算力利用率。

1)AX630A是爱芯元智正式量产的第一颗芯片,等效算力在int4的情况下是约是28.8T。该芯片的另一特点是在如此高算力的情况下,功耗可控,约为3 W。低功耗对于很多边缘测产品是很重要的,因为它们往往是在户外的,夏天的环境温度有时可达40、50 ℃,因此功耗对于这类产品的稳定性有非常大的影响。

2)AX620A是爱芯元智研发的第二颗芯片,目前已经开始客户推广,计划在2021年年底量产。爱芯希望用这颗芯片面对主流的产品市场,大概是4K 30帧以下,500万或400万像素的市场需求。

AX620A的另一个特点也是低功耗:在分辨率较小的1080P情况下,功耗可小于1 W,可用于电池供电的边缘侧产品。



关键词:

评论


相关推荐

技术专区

关闭