博客专栏

EEPW首页 > 博客 > 智能音箱、VR/AR、AI等是Lattice发力的重点

智能音箱、VR/AR、AI等是Lattice发力的重点

发布人:wangying 时间:2017-12-11 来源:工程师 发布文章

        不久前,Lattice在上海研发中心大楼举办新闻发布会,首席运营官Glen Hawk先生介绍了为时下热门领域——智能音箱、VR/AR装置及AI等做的创新方案及规划。

                     关注网络边缘的控制、互联和计算

物联网或网络边缘是Lattice的关注重点。该公司可编程产品的特点是中小型、低功耗、低成本。经过三十多年的发展,作为老牌FPGA厂商,Lattice不像其他FPGA大厂一样弄潮高大上的通信、数据中心和云端计算等,而是另辟蹊径,服务消费电子云集的网络边缘产品。

如图1,Lattice过去在控制、互联市场业绩很好,计算是新的潜力领域,希望2022年成为该公司业务的第三大支柱。

QQ截图20171211142518.png

1 Lattice在2022年的业务预期

  实际上,Lattice在过去30年里,主要是在控制领域,营收每年稳定在2亿美元左右。大约从2006-2010年开始,互联、传感上的应用增多。2010年之后,Lattice陆续收购了两家公司——SiliconBlueSilicon Image,以拓展连接和计算业务。这几年,用Lattice产品做计算处理的案例渐渐涌现,因为物联网/网络边缘需要微计算与处理的需求增加。

     例如Lattice收购SiliconBlue后,SiliconBlue的iCE40让Lattice可以进入到手机等移动装置上,诸如三星的旗舰机和苹果iPhone7上。iCE40也用于智能音箱及HTCVR装置——VIVEICE40在智能音箱上可以让多个麦克风/麦克风阵列接到主芯片,以达到“原厂语音控制,有Amazon Dot、中国叮咚音箱一代和二代、小雅音箱等。Lattice还与TPCast(北京传送科技公司)合作了无线VR连接装置,采用了Lattice的全部三大类产品(控制、互联和计算),其中FPGAiCE和ECP3,无线是WiHD接收和发送模块,影像处理采用了Sil9396

组合创新开辟新应用

物联网/网络边缘的创新,并不是有一款核心芯片就够了,很多时候更是把多种不同的产品聚合在一起做组合创新。例如TPCAST的无线VR装置,其中的“无线毫米波”技术是Silicon Imagelattice收购之前,Silicon Image曾收购的Sibeam公司的产品。其在毫米波方面花费了近十年、2.5亿美元的投资,才慢慢把“毫米波”技术及无线HDMI技术培养起来。

但无线VR不止要高速传输和低延迟,而且追踪能力要非常强大。当初Silicon Image/Sibeam团队并不认为这些无线技术可在VR上实现,因为无论是无线还是Sil9396影像处理芯片都有一些限制。但是Lattice上海FPGA团队通过深入客户,探究无线模组、影像处理器等的短板,与客户共同探讨如何用FPGA去弥补,最终出台了完整的无线方案。

可见,传统芯片厂商往往是提供芯片和开发板等。而Lattice会去主动了解市场,然后更早地去做出相关设计。例如上海团队会根据市场上的需求做参考设计,也会与大客户合作,提供客制化方案。例如,Lattice现在花很多心思在VR/AR上,所以在VR/AR市场的前瞻性、产业布局等方面,甚至比一些客户还了解。只有这样才能掌握先机,更早一步提供参考设计。

具体地,Lattice十分看好双摄像头合一产品,例如安卓之父安迪.鲁宾创立的公司所做的Essential PH-1手机,特点是附送了一个360°无线全景相机。其中采用了LatticeFPGA——Crosslink。因为Lattice早已预见到随着AR/VR对片源的需求,会出现360°全景摄影/摄像的需求。此外,无人机、AR/VR装置上未来都将会有这种摄像头二合一的360°相机。Lattice接下来还会看看四合一、五合一等的需求。

                           神经网络计算

      大部分神经网络模型用卷积神经网络(CNN)计算。CNN计算基本上是在云端上做大数据分析,相对复杂,是用16位元去代表结果的几率与强度。随着网络模型的优化,人们发觉其实不需要那么复杂,可以8位元、4位元甚至到1位元这样的二值神经网络(BNN)。BNN优化包括了二值或者三值的神经网络,对于Lattice小而巧的FPGA非常合适。

2所示为部分算法与功耗的比较,可见面部侦测、语音识别、车牌识别和故障侦测比较适合低功耗、低成本的小型FPGA“碰撞规避”则比较合适在更大型的FPGA等算法芯片。

QQ截图20171211142734.png

部分算法的功耗与成本比较表(数据来源:Lattice等公司)

  根据多方研究报告,在网络边缘/物联网上的处理需求通常是在10~1000 BOPS运算能力,可是功耗必须要低于1W,这是Lattice有优势的地方(如图3)。当然,也有可能有企业去开一个IC,采用ASIC的方式,的确性能/功耗比更理想。但是IoT(物联网)上的应用非常宽泛,要开一颗IC去符合物联网的多元化是有一定难度的。

QQ截图20171211142843.png

图2 Lattice的FPGA与其他器件的定位比较

       例如Lattice iCE40 UltraPlus可以运行二值神经网络算法,用于人脸侦测,功耗只有5mW,该芯片只有2mm×2mm,和几粒盐差不多大。Lattice比较复杂的FPGA——ECP5,可以做到人脸跟踪及不同物品的识别,相比同类方案,价格低了一个数量级,功耗也低了一个数量级以上。

        当然不一定用神经网络算法,可以用视觉的方式去做很多运算。包括:360°环绕视野。Lattice在上海有一客户Microsharp,不仅做到车牌侦测,还可以做到车牌检测。

                             精彩问答

Lattice FPGA低功耗、低成本、小尺寸,在物联网边缘看来已是无敌了?

答:Lattice关注的低功耗是always on(永远在线),特点是要一直追踪的,例如智能音箱一直要听是否有人讲话,VR设备与动作的交互等场景。如果有需要休眠的场景,例如搜集心跳,1秒钟收集两三次就足够了,这更适合MCU的低功耗模式。

问:图像处理方面,会不会出现FPGA会代替GPU?

答:VR分为两部分,一部分是追踪、另一部分是成像。成像基于图像,GPU在图像是有优势的。可是在追踪方面,例如双目追踪、识别情况下,FPGA有很大的优势。例如联想的新头盔——Mirage AR,特点是头盔上插一个手机进去,就可以玩游戏。Mirage AR上面的双目追踪,不只是连接,它的算法主要是用Lattice FPGA做出来的。假如是GPU,价格贵且功耗高。至于性能,FPGA也是有优势,因为Lattice FPGA可以简化要追踪什么来去做可视化。

       所以GPU功耗达十几到上百瓦数量级,比较适合在PC上。至于一体机上的VR或嵌入式VR,主要靠手机芯片做绘图。

问: 为何Lattice的FPGABNN上更有优势? 

答:CNN和BNN主要区别是复杂度。CNN比较复杂,需要一个比较复杂的大脑来做。例如人脑。可是像虫的脑子不大,它还是可以很灵活地去控制。所以这还是要看需求。

        而且网络的模型优化也在持续,很多时候BNN可以做到本来传统CNN要做的事情。因为其实神经网络已经研发很久了,只是神经网络的算法需要用大数据去做训练。直到近几年大数据比较充足时,人们才去更完善神经网络的算法。借由谷歌等很多开源的数据量,Lattice也可以去做更多的开发。以前可能你要做人脸识别,要看有没有眉毛、鼻子、嘴巴等,你还要去做这类算法。神经网络的算法是你给它看一百万张不同的人脸让它学习,它就知道这是人脸。这也是最近这几年才有的所谓的开源资料库/图片库,可以去做训练。但是也就是因为有这些资料库,人们才发觉其实也不必用CNN这么复杂的神经网络,BNN、TNN可能就够了。所以这还是在不停地进化、优化的。

       其实“眉毛、鼻子”等都是特征点,以前都是用“特征点”去比对的。现在神经网络是关于学习,有一个模型,你给它一些资料,它去学,它自己会去优化,然后知道怎么去识别,这的确也还在演进。所以这就是不同技术的积累。例如车牌识别,客户刚开始只是说我需要知道这有一个车牌,之后我把数字剪下来放到云端去分析。可是后来发现,其实有神经网络的侦测方法,直接就可把这个数字截取下来,甚至还可以去侦测识别车型的大小、颜色等,因此放到云端的资料量相对就简化、小很多。

问:Lattice为何有计划选择FD-SOI工艺

答:FD-SOI低功耗特性非常好。目有多个晶圆厂支持FD-SOILattice已确定与Samsung2018年6月进行合作生产,会是新的产品系列。


*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。



关键词:

相关推荐

技术专区

关闭