作者：Arm 基础设施事业部软件工程师 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技领域发挥关键作用，许多企业已经开始将大语言模型 (LLM) 集成到云端和边缘侧的应用中。生成式 AI 的引入也使得许多框架和库得以发展。其中，PyTorch 作为热门的深度学习框架尤为突出，许多企业均会选择其作为开发 AI 应用的库。通过部署 Arm Kleidi 技术 ，Arm 正在努力优化 PyTorch，以加速在基于 Arm 架构的处理器上运行 LLM 的性能
对于人工智能 (AI) 而言，任何单一硬件或计算组件都无法成为适合各类工作负载的万能解决方案。AI 贯穿从云端到边缘侧的整个现代计算领域，为了满足不同的 AI 用例和需求，一个可以灵活使用 CPU、GPU 和 NPU 等不同计算引擎的异构计算平台必不可少。依托于 Arm CPU 的性能、能效、普及性、易于编程性和灵活性，从小型的嵌入式设备到大型的数据中心，Arm CPU 已经为各种平台上
人工智能 (AI)、云计算和边缘计算等技术的发展正推动着各行各业的创新升级，这一过程也伴随着对计算资源需求的急剧增加，引发能源消耗和环境影响的新挑战。如数据中心领域，服务器、存储设备和网络设备等在执行 AI 训练和推理任务时需要消耗大量电力。又如智能终端领域，随着 AI 手机、AI PC 等设备中大模型的部署和应用，这些设备的能耗也随之上升。以数据中心为例，根据国际能源署 (IEA) 的预测，随着全球对互联网服务和 AI 需求的不断增加，支撑这些服务运行的全球数据中心的耗电量正逐年上升，预计将在未来四年内
Arm Tech Symposia 年度技术大会今日在上海举行。作为 Arm 一年一度的技术盛会，本届大会以“让我们携手重塑未来”为主题，吸引了近 2,000 位行业专业人士、工程师以及开发者报名参会，会中聚焦生成式人工智能 (AI)、边缘 AI、大语言模型 (LLM)、芯粒 (Chiplet) 技术、AI 基础设施、智能驾驶等前沿科技，旨在推动 AI 技术在 Arm 生态系统中展开进一步的交流与合作。本次活动中，Arm 深入探讨了 AI 对计算的需求，并分享了其作为计算平台公司如何通过全面的计算子系统、
人工智能 (AI)、云计算和边缘计算等技术的发展正推动着各行各业的创新升级，这一过程也伴随着对计算资源需求的急剧增加，引发能源消耗和环境影响的新挑战。如数据中心领域，服务器、存储设备和网络设备等在执行 AI 训练和推理任务时需要消耗大量电力。又如智能终端领域，随着 AI 手机、AI PC 等设备中大模型的部署和应用，这些设备的能耗也随之上升。以数据中心为例，根据国际能源署 (IEA) 的预测，随着全球对互联网服务和
京ICP备12027778号-2 北京市公安局备案：1101082052 京公网安备11010802012473