NVIDIAH100 Tensor Core GPU 在 MLPerf 行业标准 AI 基准测试中的首次亮相，通过提供比上一代 GPU 高出 4.5 倍的性能，创下了所有工作负载推理的世界纪录。NVIDIA A100 Tensor Core GPU 和用于人工智能驱动机器人的 NVIDIA Jetson AGX Orin 模块在所有 MLPerf 测试(图像和语音识别、自然语言处理和推荐系统)中提供了领先的推理性能。

H100，又名 Hopper，在所有六个神经网络中提高了每个加速器的性能标准，展示了在单独的服务器和离线测试中的吞吐量和速度方面的领先地位。部分归功于其 Transformer Engine，Hopper 在自然语言处理的 BERT 模型上表现出色。它是 MLPerf AI 模型中最大且最需要性能的模型之一。

这些推理基准测试标志着 H100 GPU 的首次公开演示，将于今年晚些时候推出。H100 GPU 将参与未来的 MLPerf 轮次进行训练。

A100 GPU 显示领先地位

NVIDIA A100 GPU 今天可从主要云服务提供商和系统制造商处获得，通过在数据中心和边缘计算类别和场景中赢得比任何提交的测试更多的测试，继续显示在 AI 推理的主流性能方面的整体领先地位。6 月，A100 还在 MLPerf 训练基准测试中全面领先，展示了其在整个 AI 工作流程中的能力。

自 2020 年 7 月在 MLPerf 上首次亮相以来，得益于 NVIDIA AI 软件的不断改进，A100 GPU 的性能提升了 6 倍。NVIDIA AI 是在数据中心和边缘计算中运行所有 MLPerf 推理工作负载和场景的唯一平台。

用户需要多功能的性能

NVIDIA GPU 在所有重要 AI 模型中的性能领先地位为用户验证了该技术，因为现实世界的应用程序通常使用许多不同类型的神经网络。例如，人工智能应用程序可能需要了解用户的语音请求、对图像进行分类、提出建议，然后以人类声音的语音消息的形式提供响应。每个步骤都需要不同类型的 AI 模型。

MLPerf 基准测试涵盖了这些和其他流行的 AI 工作负载和场景，包括计算机视觉、自然语言处理、推荐系统和语音识别。MLPerf 结果可帮助用户根据特定测试做出明智的购买决策，确保用户获得可提供可靠和灵活性能的产品。

MLPerf 基准测试得到了包括亚马逊、Arm、百度、谷歌、哈佛、英特尔、Meta、微软、斯坦福和多伦多大学在内的广泛团体的支持。

奥林在边缘领先

在边缘计算方面，NVIDIA Orin 运行了所有 MLPerf 基准测试，赢得了比任何其他低功耗片上系统更多的测试，与 MLPerf 4 月份首次亮相相比，能效提高了 50%。在上一轮中，Orin 的运行速度比上一代 Jetson AGX Xavier 模块快 5 倍，同时平均能效提高 2 倍。