北电数智发力模型适配领域:DeepSeek 全尺寸模型与国产芯片深度融合

摘要

近日,北电数智成功实现了 DeepSeek-V3/R1 全尺寸模型与海光 DCU、华为、壁仞科技、沐曦等国产芯片的混元算力适配,为 AI 应用提供了更多算力选择。

近日,北电数智成功实现了 DeepSeek-V3/R1 全尺寸模型与海光 DCU、华为、壁仞科技、沐曦等国产芯片的混元算力适配,为 AI 应用提供了更多算力选择。

这一成果的背后,离不开北电数智「宝塔·模型适配平台」的有力支持。「宝塔·模型适配平台」是北电数智开发的高质量 AI 工具链,该平台能够抹平不同国产芯片在底层架构、软件生态上的差异,快速实现对模型的优化支持和硬件适配。在「宝塔·模型适配平台」上,用户可以忽略底层硬件的差异从而轻松高效使用各种算力。平台会自动基于大模型的调用需求,为其匹配合适的算力资源以确保如 DeepSeek 等模型的高效运行。

DeepSeek 模型采用了创新的混合专家系统(DeepSeekMoE)、多头潜在注意力机制(MLA)以及自研训练框架等多项工程化创新,这些独特创新机制使得 DeepSeek 模型只需消耗较少的算力资源即可实现与 OpenAI 模型相当的性能。而与此同时,DeepSeek 模型在算法层面的创新也对 AI 芯片的通用性提出了更高要求。国产芯片在底层架构、软件生态等方面存在差异,这对如 DeepSeek 模型的适配工作带来挑战。正是基于这样的背景,「宝塔·模型适配平台」的重要性更加凸显。

在处理推理任务方面,针对 DeepSeek 类超大模型,数据中心的集群化推理尤为重要。北电数智推出的混元推理技术路线与 DeepSeek 技术路线具有天然的匹配性。

北电数智实现 DeepSeek 模型与国产算力的深度适配融合也为整个 AI 行业带来了深刻的启示,即只有促进和满足国产原生模型的算力需求,才能同时真正推动国产算力的发展。北电数智所推出的「星火·国产算力 AI 原生适配认证」,也旨在从芯片层面加强国产模型与国产算力的适配工程,推动国产芯片的场景化商业成功以及 AI 原生应用的加速落地。

目前,北电数智「宝塔·模型适配平台」已完成 24 款基座大模型的适配工作,并正式开通企业版内测服务,用户可以在该平台上轻松构建和部署基于 DeepSeek 模型的 AI 应用支撑实际业务使用场景需求。

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。