大语言模型推理 文章 进入大语言模型推理技术社区

芯原超低能耗NPU可为移动端大语言模型推理提供超40 TOPS算力

• 芯原股份（芯原）近日宣布其超低能耗且高性能的神经网络处理器（NPU）IP现已支持在移动端进行大语言模型（LLM）推理，AI算力可扩展至40 TOPS以上。该高能效NPU架构专为满足移动平台日益增长的生成式AI需求而设计，不仅能够为AI PC等终端设备提供强劲算力支持，而且能够应对智慧手机等移动终端对低能耗更为严苛的挑战。芯原的超低能耗NPU IP具备高度可配置、可扩展的架构，支持混合精度计算、稀疏化优化和并行处理。其设计融合了高效的内存管理与稀疏感知加速技术，显著降低计算负载与延迟，确保AI处理流畅、响应
• 关键字： 芯原  NPU  大语言模型推理  NPU IP