[中国，上海，2026 年 9 月 9 日] 在 PyTorch Conference China 2026 大会上，Linux 基金会云与基础设施执行董事、OpenInfra Foundation 执行董事兼 CNCF 执行董事 Jonathan Bryce 演示了基于 HyperParallel 分布式并行组件的训练加速 Live Demo，展示了 HyperParallel 在昇腾 Atlas 800 A3 风冷超节点上的卓越训练加速能力。随后华为 AI 框架首席技术专家苏腾介绍了 HyperParallel-专为超节点打造的分布式并行组件，通过超节点亲和 Module 和 FSDP 零拷贝通信等技术实现高性能训练，未来也将贡献 HyperParallel 创新技术到 PyTorch 生态社区，加速 AI 生态创新迭代。

从原生支持到生态共建：昇腾与 PyTorch 合作迈入新阶段

首先回顾大会首日 KN 提到昇腾与 PyTorch 的生态合作已迈入新里程碑，询问昇腾新成立的 Ascend for PyTorch 开源社区进展，昇腾 AI 框架生态负责人王神迪介绍，Ascend for PyTorch 社区（基于 TorchNPU 的中国社区）于今年 5 月正式成立，目前已汇聚超过 1,000 名贡献者，外部贡献占比超过 50%，是中国发展最快的 AI 社区之一，社区正持续推动中国 AI 开发者深度参与 PyTorch 上游贡献。

HyperParallel：昇腾超节点亲和，加速新模型结构和新训推范式创新

随着大模型向十万亿参数、全模态、Agent 化方向演进，训推共存、Agentic RL 等新训练范式持续涌现，为超节点时代的分布式训练带来全新挑战。HyperParallel 深度适配昇腾超节点的内存统一编址、超大带宽、超低时延等核心特性，通过硬件感知的编排机制，将超节点视为单一逻辑计算机进行全局调度，能够显著降低并行编程与系统调优开销，同时大幅提升训练效率。

HyperParallel 兼容主流模型生态，无缝对接 HuggingFace、LlamaFactory 等开源生态库，提供大模型分布式训练全栈能力，并集成混合精度、通信优化、显存管理和 DCP，实现从单卡到超大规模分布式训练的平滑扩展。

Live Demo 演示：Qwen3-30B-A3B 训练吞吐量提升超 200%

Jonathan Bryce 现场演示了 Live Demo，在昇腾 Atlas 800 A3 风冷超节点上使用 HyperParallel+PyTorch 训练 Qwen3-30B-A3B 模型。在相同配置下，HyperParallel-FSDP2+Muon 相比 PyTorch-FSDP2+Muon，在保持 loss 收敛一致性（即模型训练效果完全一致）的前提下，训练吞吐提升幅度超过 200%。

这一性能提升主要源于 HyperParallel 的两大核心优化：

高性能昇腾亲和 module：在保持入参、出参一致的前提下，重写优化/替换包括 attention、rmsnorm、muon 等模块，如 muon 优化器通过 HSDP&DP 去冗余计算，以分组调度匹配超节点层次结构，达成主流模型生态开箱即优的效果。

FSDP2 零拷贝通信：支持逐参数通信，避免了分组通信带来的数据拷贝（copy in/out）开销，实现了计算与通信的高效重叠，充分发挥了超节点的高带宽优势。

HyperParallel 持续深耕技术创新，回馈 PyTorch 开源生态

HyperParallel 会持续围绕多模态、长序列、高稀疏 MoE 模型等领域做深度优化，进一步支持 torch compile 图模式，支持好自动策略搜索、强化学习、世界模型等特性。秉持开放协作的理念，HyperParallel 将持续把经过大规模生产验证的创新技术贡献给 PyTorch 等开源社区，与全球开发者共同推动分布式训练技术的演进。

欢迎全球开发者共同参与 HyperParallel 关键技术共建！

来源：互联网