作者:Arm 基础设施事业部软件工程师 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技领域发挥关键作用,许多企业已经开始将大语言模型 (LLM) 集成到云端和边缘侧的应用中。生成式 AI 的引入也使得许多框架和库得以发展。其中,PyTorch 作为热门的深度学习框架尤为突出,许多企业均会选择其作为开发 AI 应用的库。通过部署 Arm Kleidi 技术 ,Arm 正在努力优化 PyTorch,以加速在基于 Arm 架构的处理器上运行 LLM 的性能
Arm 控股有限公司(纳斯达克股票代码:ARM,以下简称“Arm”)近期宣布通过将 Arm® Kleidi 技术集成到 PyTorch 和 ExecuTorch,赋能新一代应用在 Arm CPU 上运行大语言模型 (LLM)。Kleidi 汇集了最新的开发者赋能技术和关键资源,旨在推动机器学习 (ML) 技术栈中的技术协作和创新。通过这些重要进展,Arm 致力于为任一 ML 技术栈的开发者提供更为顺畅的体验。 Arm 战略与生态部开发者技术副总裁 Alex Spinelli 表示:“Arm 正与领先的云服