在 MLCommons 最新发布的 MLPerf Inference v6.1 成绩中，英特尔重点展示了如何通过软件优化，大幅提升英特尔® 至强® 6 处理器和英特尔锐炫™ Pro B 系列 GPU 的 AI 推理性能。这些成绩的背后，同样体现了客户和生态伙伴日益深入的参与，越来越多的系统选择在英特尔平台上完成验证，覆盖更多模型、更多工作负载以及更丰富的部署场景。
在 MLCommons 最新发布的 MLPerf Inference v6.1 成绩中，英特尔重点展示了如何通过软件优化，大幅提升英特尔® 至强® 6 处理器和英特尔锐炫™ Pro B 系列 GPU 的 AI 推理性能。这些成绩的背后，同样体现了客户和生态伙伴日益深入的参与，越来越多的系统选择在英特尔平台上完成验证，覆盖更多模型、更多工作负载以及更丰富的部署场景。
在与 MLPerf v6.0 测试相同的芯片和插槽配置下，英特尔® 至强® 6980P 处理器在 Llama 3.1 8B Server 测试中实现了 2.4 倍的吞吐量提升，Offline 测试中实现了 56%¹的吞吐量提升。值得一提的是，这些性能提升全部来源于软件层面的优化。这充分说明了，通过持续的软件创新，客户无需更换已部署的硬件平台，也能获得更高性能。英特尔的生态伙伴也展现出同样强劲的势头。
英特尔数据中心事业部数据中心软件副总裁 Bill Pearson 表示：「MLPerf Inference v6.1 结果表明，持续的软件优化，能让客户从已部署的硬件中释放出更为强劲的性能。我们正在不断强化至强和锐炫 Pro 的全栈 AI 软件能力，同时扩大平台所支持的模型、工作负载及系统的范围。」
随着 AI 推理进入实际部署阶段，客户需要的计算平台，不仅要能支持更大规模、更多样化的模型，还要能在长期使用中持续提升性能，带来更好的灵活性与价值。英特尔在 MLPerf Inference v6.1 中的结果证明，软件优化可以进一步释放已部署基础设施的有效性能，帮助客户从现有系统中挖掘更多价值，并在 CPU 与 GPU 算力之间实现横向扩展。
客户与合作伙伴在英特尔平台上的参与情况也有所提升，从 v6.0 的 29 项结果增至 v6.1 的 39 项，第三方验证不再局限于英特尔自身提交的结果²。其中，甲骨文（Oracle）首次提交了基于英特尔平台的结果；红帽（Red Hat）首次提交了至强 CPU 的推理结果；广达云科技（Quanta Cloud Technology）与超微（Supermicro）则提交了首批采用英特尔锐炫 Pro B70 的合作伙伴测试数据。
英特尔至强6测试结果：在 MLPerf v6.1 中，英特尔进一步扩大了至强处理器的测试范围。参加测试的至强 6 SKU 从 v6.0 的 2 款增至 5 款，CPU 推理测试数量也从 24 项增加到 35 项。与此同时，至强依然是 MLPerf Inference 测试中唯一以独立服务器 CPU 完成提交的平台。
英特尔锐炫Pro B70测试结果：锐炫的测试结果进一步显示了，软件优化对提升 AI 模型性能的作用。由四块英特尔锐炫 Pro B70 GPU 组成的单节点系统，可提供 128GB 显存，并完成了 Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper 以及端到端检索增强生成（E2E-RAG）等多种模型和应用场景的测试提交。在与 MLPerf Inference v6.0 相同的四卡系统配置下，gpt-oss-120B Server 场景性能提升 36%，Offline 场景性能提升 27%，充分体现出英特尔软件栈持续优化带来的性能收益 3。
全新E2E-RAG基准测试：英特尔参与联合开发了全新的 MLPerf Inference v6.1 端到端检索增强生成（E2E-RAG）基准测试，并提交了测试成绩。作为本轮测试中最复杂的全新工作负载之一，测试系统在单次运行中配备了一台英特尔至强 6787P 处理器和四块英特尔锐炫 Pro B70 GPU，并将工作负载拆分给 CPU 和 GPU，各自处理 AI 流水线的不同阶段：至强处理器负责嵌入、重排序、向量搜索和小语言模型；锐炫 Pro B70 GPU 则负责大语言模型的生成。这一结果清晰展示出，经过优化的 CPU 与 GPU 可以在完整的 AI 工作流中高效协同。
英特尔的优化并未止步于基准测试。至强处理器的各项优化成果，正不断被纳入主流 AI 框架，让客户无需更改现有的基础设施，就能直接享受到软件改进带来的提升。同时，对英特尔锐炫 Pro B70 的优化，也将进一步推动未来英特尔 GPU 在内核、框架及推理服务栈上的演进。
来源：互联网
