Google投入自家AI芯片　期望发挥带头角色

　　日前Google针对资料中心市场推出自家晶片Tensor Processing Unit (TPU)，专门应付处理大量数据需求。评论指出，Google之所以推出该技术，主要出发点在于追求效能、降低耗能与带领其他业者一同加入打造TPU的行列。

　　据Network World报导，过去由IBM大型主机与升阳(Sun)伺服器处理的资料中心工作量自从受到诸如Google等云端业者带动后，更让英特尔(Intel)的PC硬体将其普及化，不过，日前Google公布自家TPU效能与架构详细研究报告后，上述情况恐将从此改变。

　　首先，TPU并非类似英特尔中央处理器(CPU)或NVIDIA绘图处理器(GPU)的晶片，而是属于机器学习的ASIC特殊应用晶片。机器学习包括训练与推理两大部分。训练是指利用数据将电脑程式化。

　　在机器学习系统提供各种语言的句子并教导电脑翻译成其他语言属于训练，而口说或在智慧型手机内输入某语言的句子转变成另一种语言则是推理。

　　由于TPU是针对推理的特殊任务而设计，加上推理已逐渐成为Google工作量庞大部分，在工作量增加后也催生Google的TPU问世。

　　诸如语言翻译与图片搜寻等推理模型的处理容量属于面对用户的功能，因此，需要低成本与低延迟效能，而推理正是让资料中心容量神经网路工作量最大化最适合起点。

　　评论认为，Google之所以设计并打造TPU原因首先就是着眼于效能。Google将自家TPU与执行95%推理工作量的英特尔伺服器等级Haswell CPU与NVIDIA K80 GPU相比，而在执行神经网路推理时，TPU速度更比NVIDIA GPU与英特尔CPU快15~30倍。

　　第二是考量实体空间。云端资料中心相当于IT厂房。Google资料处理厂房等庞大基础建设的资本与营运费用已成为一笔庞大预算。6年前，当用户开始使用自然语言辨识取代手机键盘时，Google工程时当时曾预估，每天每位用户3分钟自然语言输入，将会让采用英特尔与NVIDIA设计的资料中心数量开始倍增。

　　第三是耗能。评论指出，速度较快的晶片但没有伴随耗能降低，只能影响实际空间成本，降低耗能则可带来双重影响，因为可降低使用能源量以及降低冷却成本。Google指出，结合TPU与CPU处理器每瓦效能在不同工作量下，比CPU与GPU替代技术提升30~80倍。

　　第四是TPU可解决特殊应用问题。英特尔的CPU与NVIDIA的GPU是属于广泛应用的一般系统单晶片(SoC)，特别是精准计算的浮点运算。机器学习模型可容忍低准度数学运算，因此，无需浮点处理单元(FPU)。

　　若拿英特尔及NVIDIA的系统单晶片与FPU相比，利用TPU 8位元数学运算驱动的推理模型预测精准度两者相当。

　　另外，矩阵几何数学组成了多数的神经网路运算，至于矩阵相乘单元(Matrix Multiply Unit;MMU)则是TPU的核心。当中包含可执行8位元乘法与加法共256x256的乘数累加器(MAC)，MMU每周期可执行6.4万次累加计算。

　　TPU在时脉0.7GHz时由于可让低准度矩阵数学最大化以及快速移动数据与结果，相较英特尔与NVIDIA的晶片可达到最大效能表现。Google也指出，未来TPU重新设计增加汇流排频宽后，性能将提升2~3倍。

　　第五则是促使晶片厂打造TPU。由于Google是数据头号使用者，因此相当了解机器学习问题并能足够打造出解决方案，而且历经2年在其资料中心运作后，证实该问题已经获得解决。

　　而Google之所以释出这次报告，目的是希望在机器学习与晶片厂团体内提高讨论度，目前已是推出可大量执行推理的商用解决方案的时候。

　　第六则是专利与智财权交易。由Norman Jouppi率领的团队在15个月内便推出TPU，若搜寻美国专利局资料库有关Jouppi的专利，当中更可发现许多TPU相关专利。评论指出，身为专利拥有者，Google可借由开放其专利鼓励晶片厂进入该市场，而且主要机器学习使用者业者，例如亚马逊(Amazon)、Google、Facebook、IBM与微软(Microsoft)也在等候采购机器学习专属系统单晶片。