推理软件 文章 进入推理软件技术社区

英伟达推出开源推理软件Dynamo 为AI工厂降本增效

• 3月19日消息，英伟达在2025GTC大会上推出了开源推理软件 NVIDIA Dynamo，旨在以高效率、低成本加速并扩展 AI 工厂中的 AI 推理模型。据介绍，NVIDIA Dynamo 是一款全新的 AI 推理服务软件，旨在为部署推理 AI 模型的 AI 工厂最大化其 token 收益。它协调并加速数千个 GPU 之间的推理通信，并使用分离服务将大语言模型 (LLM) 的处理阶段和生成阶段在不同 GPU 上分离开来。这使得每个阶段的特定需求可以进行单独优化，并确保更大程度地利用 GPU 资源。“全世
• 关键字： 英伟达  开源  推理软件  Dynamo  AI工厂  NVIDIA Dynamo  GTC