NVIDIA Hopper GPU于AI推论基准创世界纪录

NVIDIA H100 Tensor核心GPU在MLPerf人工智能（AI）基准检验初登场，便在各项推论作业负载创下世界纪录，其效能较前一代GPU高出达4.5倍。此测试结果显示，对于先进AI模型有最高效能需求的用户来说，Hopper就是首选产品。
 

NVIDIA Hopper在MLPerf人工智能推论基准检验初登场即创新世界纪录

此外，NVIDIA A100 Tensor核心GPU及用于开发AI机器人的NVIDIA Jetson AGX Orin模块在影像和语音识别、自然语言处理和推荐系统等所有MLPerf测试项目中，整体推论表现持续领先群雄。
亦称为Hopper的H100，在本轮测试的六个神经网络中提高单一加速器的效能标准。它在独立服务器和脱机的情况下，在传输量和速度皆展现领先优势。NVIDIA Hopper架构的效能较NVIDIA Ampere架构的GPU高出4.5倍，在MLPerf测试结果中持续保持全面领先地位。
Hopper在热门的BERT自然语言处理模型上的出色表现，部分要归功于它的Transformer引擎。BERT自然语言处理模型是MLPerf AI模型中规模最大、对效能要求最高的模型之一。这些推论基准检验是H100 GPU的首次公开展示，此产品将在今年底上市。H100 GPU将参与MLPerf日后的训练测试。
各大云端服务供货商与系统制造商已采用的NVIDIA A100 GPU，在最新的AI推论测试中依旧位居主流效能的领导地位。在数据中心与边缘运算的类别和情境中，A100 GPU的成绩比其他参与者提交的测试结果都更为突出。A100在六月的MLPerf训练基准检验中一马当先，展现处理整个AI工作流程的出色能力。
A100 GPU自2020年7月首次参与MLPerf基准检验以来，随着NVIDIA AI软件持续改善，效能已经提高6倍。NVIDIA AI是在数据中心与边缘运算中，唯一能够运行所有MLPerf推论作业负载和情境的平台。
NVIDIA GPU能够在各大AI模型上提供顶尖效能，让用户成为真正的赢家。他们在真实世界中的应用通常会用到多种神经网络。例如，AI应用程序可能要理解用户的口语请求、对影像进行分类、提出建议，然后用听起来像人的声音做出回应。每一步都要用到不同类型的AI模型。
MLPerf基准检验涵盖这些AI模型及其它热门的AI作业负载和情境，像是计算机视觉、自然语言处理、推荐系统、语音识别等。这些测试确保用户能获得可靠且灵活的效能来进行部署。
MLPerf基准检验具透明度且客观，也因此用户仰赖这些测试结果以做出明智的采购决策。亚马逊（Amazon）、Arm、百度（Baidu）、Google、哈佛大学（Harvard）、英特尔（Intel）、Meta、微软（Microsoft）、史丹佛大学（Stanford）与多伦多大学（University of Toronto）等众多业者与学术单位皆对MLPerf表达支持。
NVIDIA Orin运行MLPerf边缘运算类别的每一项基准检验，多项表现更胜于其他低功耗系统单芯片。相较于四月时首次参与MLPerf测试，这次的能源效率提高多达50%。在前一回合的测试中，Orin的运行速度比上一代Jetson AGX Xavier模块快5倍，而能源效率平均高出2倍。
Orin将NVIDIA Ampere架构GPU与强大的Arm CPU核心丛集整合到单一芯片内。已可在用于开发机器人和自主系统的NVIDIA Jetson AGX Orin开发工具包及生产模块中取得，并支持完整的NVIDIA AI软件堆栈，包括用于自动驾驶车（NVIDIA Hyperion）、医疗设备（Clara Holoscan）与机器人（Isaac）的多个平台。
从MLPerf的测试结果便能看出NVIDIA AI获得业界最广泛的机器学习生态系支持。在本轮测试中，有超过七十份测试结果是透过NVIDIA的平台运行，像是微软Azure即提交在其云端服务中运行NVIDIA AI的成果。
此外，由华硕（ASUS）、戴尔科技集团（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧与科技（Hewlett Packard Enterprise）、联想（Lenovo）及美超威（Supermicro）等十家系统制造商推出的19款NVIDIA认证系统亦参与本次测试。
它们的测试结果显示，无论是在云端或在用户自己的数据中心服务器上，NVIDIA AI都能为用户提供绝佳效能。NVIDIA的合作伙伴深知，MLPerf是一项让客户用于评估AI平台及供货商的宝贵工具，因此才会加入测试。最新一轮的结果显示，他们如今提供给用户的出色效能，将随着NVIDIA平台的发展而更将持续强化。
于此次测试中使用的各种软件公开于MLPerf资源库，每个人都能取得这些世界级的成果。我们不断将优化结果放入NGC（GPU加速软件目录）的容器中。用来为本次提交的AI推论测试结果进行优化的NVIDIA TensorRT也能在NGC中取得。