英伟达和OpenAI推出开源推理模型

OpenAI 和 Nvidia 开发的两种新的开放权重 AI 推理模型——gpt-oss-120b 和 gpt-oss-20b——可供用户使用。

任何人都可以使用这些模型来开发生成、推理和物理人工智能、医疗保健和制造领域的应用程序。

OpenAI 的开放权重文本推理大型语言模型 （LLM） 是在 Nvidia H100 GPU 上训练的，在运行 Nvidia CUDA 平台的数亿个 GPU 上运行推理效果最好。

这些模型现在可作为 Nvidia NIM 微服务提供，可在任何 GPU 加速基础设施上部署，具有灵活性、数据隐私和企业级安全性。

通过对 Nvidia Blackwell 平台的软件优化，这些模型在 Nvidia GB200 NVL72 系统上提供最佳推理，实现每秒 150 万个令牌。

Nvidia Blackwell包括 NVFP4 4 位精度等创新，可实现高精度推理，同时降低功耗和内存需求。这使得实时部署万亿参数的 LLM 成为可能。

Nvidia CUDA 允许用户在任何地方部署和运行 AI 模型，从 Nvidia DGX 云平台到 Nvidia GeForce RTX 和 Nvidia RTX PRO 驱动的 PC 和工作站。

迄今为止，Nvidia CUDA 的下载量已超过 4.5 亿次，从今天开始，庞大的 CUDA 开发人员社区可以访问这些最新模型，这些模型经过优化，可以在他们已经使用的 Nvidia 技术堆栈上运行。

OpenAI 和 Nvidia 与顶级开放框架提供商合作，除了 Nvidia Tensor-RT LLM 和其他库外，还为 FlashInfer、Hugging Face、llama.cpp、Ollama 和 vLLM 提供模型优化，因此开发人员可以使用他们选择的框架进行构建，以展示他们对开源软件的承诺。