AI无所不在 前进行动装置势在必行

在通膨压力与经济低迷的影响下，全球有超过半数的企业正面临严重的人力与技术缺口。在此同时，企业也面临营运成本增加的压力，IDC预测，AI的自动化发展将成为企业解决压力的重要投资。企业自动化应用目前仍面临AI应用扩展及协同串接的难题，并且在目前单模态的AI应用，已不足以满足企业在实时决策、预测能力的需求。

放眼未来，能够同步处理文本、视觉影像、音频等应用的多模态AI，将有机会帮助企业解决面对的难题，提供更精准的自动化性能，跨越企业内部各种业务流程的决策串流障碍。多模态AI的自动化应用，已逐渐在智能能源与芯片开发设计上崭露头角。IDC预测到 2023 年，持续的人才不足与技术缺口将促使 35%的企业开始投资AI技能，并且预期在2026年将有40%的AI模型能涵盖多模态的数据演算，这也成为未来企业展现营运韧性不可或缺的必备条件。

人工智能无所不在
然而，现阶段人工智能发展所面临到的两大挑战，包括了大量人为介入导致的偏差与效率问题，以及类神经网络算法所带来的信任问题。根据IDC研究指出，目前的人工智能技术只能算是弱AI，意味着只能应用在单一领域中。而这也让下一代人工智能技术的发展，将朝向Omnipresent AI（无所不在人工智能）发展，让人工智能可以真正做到算法融合、流程的自动化、以及虚实整合。在这样的发展基础下，人工智能将可望更有效率地应用在多种不同的虚实融合场域，也让AI的应用能更多元普及。人工智能朝向强AI发展，也将使企业对于人工智能的需求大幅提升。

IDC预估到2024年，50%的结构化可重复性的事务，将可实现全面自动化。并且在未来10年内，达到人类仅需在旁监督，不用直接下指令，机器便能自行进行动作，并决定事务执行方式的产业运作目标。


 
图一 : 现阶段人工智能发展面临到的挑战，包括大量人为介入导致的偏差与效率问题，以及类神经网络算法的信任问题。

行动神经运算三大要素
除了企业端的导入，为了达到无所不在的人工智能，为行动装置导入AI能力与神经运算已经势在必行，让人工智能也能随身带着走。Arm资深业务开发经理暨首席应用工程师沈纶铭指出，对于行动装置来说，神经运算最需要的要素有以下三点：

●机器学习推论（Machine learning influence） 的执行效率：在终端装置提供有效率的神经网络执行效能，是用户导入的第一个关键。

●功耗效率：省电绝对是行动装置持续的追求。在得到类神经运算之下，第二个要素就是降低功耗的需求，加速行动装置类神经运算导入市场。

●软件框架的支持：目前人工智能的训练框架各不相同，导致终端装置要执行类神经运算无法直接使用，需要额外人力成本进行模型转换，同时也会造成模型经度损失。所以行动装置执行类神经运算时，必须在项目规画的初期，就选择公开兼容于各种训练框架的软件方案。


 
图二 : 企业开始运用集体智慧的力量来提高生产效率。

Arm架构神经运算特色
Arm架构是目前多数行动装置所采用的运算核心。沈纶铭说，行动装置上导入AI与ML伴随了许多的挑战，而Arm架构也针对这些问题，进行了以下的解决与优化。

●持续在CPU、GPU增加AI 运算的能力：目前大多数的机器学习都是在Arm CPU和GPU上进行处理，因此Arm持续发布新的效率与功耗改进项目，甚至可以在最小的终端装置与传感器上，运行机器学习模型。Arm机器学习解决方案结合硬件IP、软件与人工智能开发框架，可协助指导设计人员为云端、边缘与端点建构次世代创新、可携式的人工智能应用项目。

●持续优化软件效能整合度：Arm的机器学习SDK包含所有的Arm IP（CPU、绘图处理器与 NPU），提供更好的机器学习效能。开放原始码的SDK支持常见的框架与模型格式（例如Tflite、TFLiteμ、Android NNAPI、PyTorch与ONNX），因此可以快速整合及打造流畅的开发人员体验。软件可支持各种Arm处理器工作负载，只要开发一次就能部署到各个地方。

●协助算法以及终端用户合作开发新的AI应用：Arm AI是多功能及可扩充的人工智能开发环境，结合各种IP 、工具、软件及支持，可帮助生态系伙伴创新，开发新的AI应用。

沈纶铭说，Arm持续致力于提供于省电的运算架构。神经运算底层的行为，其实就是大量的矩阵运算跟数据的搬动，不论是Arm设计的CPU、GPU、NPU，都会在设计的初期就考虑终端应用场景对功耗的要求。也因为这样的特色，使得许多合作伙伴也选择采用整套的Arm Total Solutions for IoT。例如奇景光电的客制化图像处理芯片解决方案就是采用了Arm Corstone-300，且无缝的执行于Arm虚拟硬件目标（AVH）之上，使其SoC更兼容于Arm生态系的软硬件支持架构。而AVH即将扩展到第三方装置平台，将使开发流程更加顺畅。这些都将能为开发人员大幅缩短开发流程与时间、可专注于特定使用场景，提升客户的使用经验。

另外还有开放的软件框架支持。坊间神经运算架构方案多半采用封闭的软件框架，导致可以导入的使用场景十分有限，无法满足行动装置所需的语音、影像，甚至是混合型（sensor fusion）的各面向应用场景。因此Arm在规划神经运算软件架构时，便意识到这个问题，在规划CPU、GPU、NPU软件架构时，便十分重视开源的软件生态。

结语
随着AI技术应用发展、终端智能装置的增加，与企业数字转型的浪潮推动下，IDC观察到有越来越多的企业开始运用集体智慧的力量，搜集并启用集群式的事物或机器，以提高生产效率、融合内部协作，达到知识管理与决策制定等目的。IDC认为这些多样态的智慧终端，将经由中心化、去中心化、与异质化群体学习等方法，让学习，预测，与行动更加快速有效。预期制造业、零售业、医疗产业将在未来最有机会导入群体智慧发展，逐步迈向全自动化，并创造更多产业发展机会。