导语：H100将于本年晚些时辰发货。

雷峰网(公家号：雷峰网)动静，北京时间9月9日，MLCo妹妹ons社区发布了最新的MLPerf 2.1基准测试成果，新一轮基准测试拥有近5300个机能成果及2400个功耗丈量成果，别离比上一轮晋升了1.37倍及1.09倍，MLPerf的合用规模进一步扩展。

阿里巴巴、华硕、Azure、壁仞科技、戴尔、富士通、技嘉、H3C、HPE、海潮、英特尔、Krai、遐想、Moffett、Nettrix、Neural Magic、英伟达、OctoML、高通、SAPEON 及 Supermicro 均是本轮测试的孝敬者。

此中，英伟达体现依然亮眼，初次携H100到场MLPerf测试，并于所有事情负载中刷新世界纪录。

H100打破世界记载，较A100机能晋升4.5倍

英伟达在本年3月份发布基在新架构NVIDIA Hopper的H100 GPU，与两年前推出的NVIDIA Ampere架构比拟，实现了数目级的机能奔腾。黄仁勋曾经于 GTC 2022 上暗示，20个H100 GPU即可以承托相称在全世界互联网的流量，可以或许帮忙客户推出进步前辈的保举体系和及时运行数据推理的年夜型语言模子。

令一众AI从业者期待的H100原本定在2022年第三季度正式发货，今朝处在接管预定状况，用户的真实利用环境及H100的现实机能尚不成知，是以可以经由过程最新一轮的MLPerf测试患上分提早感触感染H100的机能。

于本轮测试中，对于比Intel Sapphire Rapids、Qualco妹妹 Cloud AI 100、Biren BR10四、SAPEON X220-enterprise，NVIDIA H100不仅提交了数据中央所有六个神经收集模子的测试成就，且于单个办事器及离线场景中均揭示出吞吐量及速率方面的领先上风。

以NVIDIA A100比拟，H100于MLPerf模子范围最年夜且对于机能要求最高的模子之一——用在天然语言处置惩罚的BERT模子中体现出4.5倍的机能晋升，于其他五个模子中也都有1至3倍的机能晋升。H100之以是可以或许于BERT模子上体现初精彩，重要归功在其Transformer Engine。

其他一样提交了成就的产物中，只有Biren BR104于离线场景中的ResNet50及BERT-Large模子下，比拟NVIDIA A100有一倍多的机能晋升，其他提交成就的产物均未于机能上逾越A100。

而于数据中央及边沿计较种别的场景中，A100 GPU的测试成就依然不俗，患上益在NVIDIA AI软件的不停改良，与2020年7月初次表态MLPerf比拟，A100 GPU实现了6倍的机能晋升。

寻求AI通用性，测试成就笼罩所有AI模子

因为用户于现实运用中凡是需要采用很多差别类型的神经收集协同事情，例如一个AI运用可能需要理解用户的语音哀求、对于图象举行分类、提出建议，然后以语音回应，每一个步调都需要用到差别的AI模子。

正因云云，MLPerf基准测试涵盖了包括计较机视觉、天然语言处置惩罚、保举体系、语音辨认等风行的AI事情负载及场景，以便在确保用户得到靠得住且部署矫捷的机能。这也象征着，提交的测试成就笼罩的模子越多，成就越好，其AI能力越发具有通用性。

于此轮测试中，英伟达AI依然是独一可以或许于数据中央及边沿计较中运行所有MLPerf推理事情负载及场景的平台。

于数据中央方面，A100及H100都提交了六个模子测试成就。

于边沿计较方面，NVIDIA Orin运行了所有MLPerf基准测试，且是所有低功耗体系级芯片中博得测试至多的芯片。

Orin是将NVIDIA Ampere架构GPU及Arm CPU内核集成到一块芯片中，重要用在呆板人、自立呆板、医疗机械及其他情势的边沿嵌入式计较。

今朝，Orin已经经被用于NVIDIA Jetson AGX Orin开发者套件以和呆板人及自立体系天生模考，并撑持完备的NVIDIA AI软件仓库，包括主动驾驶汽车平台、医疗装备平台及呆板人平台。

与4月于MLPerf上的初次表态比拟，Orin能效提高了50%，其运行速率及平均能效别离比上一代Jetson AGX Xavier 模块超出跨越5倍及2倍。

寻求通用型的NVIDIA AI 正于被业界广泛的呆板进修生态体系撑持。于这一轮基准测试中，有跨越70 项提交成果于 NVIDIA 平台上运行。例如，Microsoft Azure 提交了于其云办事上运行NVIDIA AI 的成果。

雷峰网

相干文章：

MLPerf最新成果宣布，英伟达仍是「王者」

MLPerf最新榜单宣布，宁畅狂揽59项第一

IPU首度公然MLPerf成就，性价比收益赛过英伟达

雷峰网原创文章，未经授权禁止转载。详情见转载须知。