摩尔线程联合无问芯穹宣布，双方在近日正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型实训。
摩尔线程联合无问芯穹宣布，双方在近日正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型实训。该模型名为「MT-infini-3B」，在摩尔线程夸娥（KUAE）千卡智算集群与无问芯穹 AIStudio PaaS 平台（https://cloud.infini-ai.com/aistudio）上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产 GPU 千卡智算集群深度合作的新范式。
MT-infini-3B 模型训练总用时 13.2 天，经过精度调试，实现全程稳定训练不中断，集群训练稳定性达到 100%，千卡训练和单机相比扩展效率超过 90%。目前，实训出来的 MT-infini-3B 性能在同规模模型中跻身前列，相比在国际主流硬件上训练而成的其他模型，在 C-Eval，MMLU，CMMLU 等 3 个测试集上均实现性能领先。
MT-infini-3B 性能表现
无问芯穹联合创始人兼 CEO 夏立雪表示：「国内大模型与国产芯片的软硬件协同发展，最终目标是构建一个成熟的生态系统。无问芯穹正在打造『M 种模型』和『N 种芯片』间的『M×N』中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产 GPU 公司，而『MT-infini-3B』的训练是行业内首次实现基于国产 GPU 芯片从 0 到 1 的端到端大模型实训案例。」
摩尔线程创始人兼 CEO 张建中表示：「无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练，不仅是对摩尔线程技术实力的有力认证，更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能 GPU 为底座，提供软硬一体化的全栈解决方案，具备高兼容性、高稳定性、高扩展性等综合优势，我们致力于成为 AGI 时代大模型训练坚实可靠的先进基础设施。」
此前，摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台「无穹 Infini-AI」和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配，该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来，双方还将开展更多适配与测试，推动国产大模型技术的快速发展与应用普及，为中国人工智能产业的蓬勃发展贡献力量。
+++
关于无问芯穹
无问芯穹（Infinigence AI）依托行业领先且经过验证的 AI 计算优化能力与算力解决方案，追求大模型落地的极致能效。打造「M 种模型」和「N 种芯片」间的「M×N」中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署。链接上下游，共建 AGI 时代大模型基础设施，加速 AGI 落地千行百业。
关于摩尔线程
摩尔线程是一家以全功能 GPU 芯片设计为主的集成电路高科技公司，能够为广泛的科技生态合作伙伴提供强大的计算加速能力，致力于打造为下一代互联网提供多元算力的元计算平台。
来源：互联网
