
2026 年 11 月 14 日,由昇腾联合 SGLang 开源社区共同举办的昇腾开源软件极客营 Meetup·上海 SGLang 专场在上海粤海万怡酒店顺利举行。
2026 年 11 月 14 日,由昇腾联合 SGLang 开源社区共同举办的昇腾开源软件极客营 Meetup·上海 SGLang 专场在上海粤海万怡酒店顺利举行。本次活动汇聚了 SGLang 开源社区核心贡献者、产业合作伙伴及广大开发者,围绕 SGLang 最新技术演进、昇腾 AI 基础软硬件平台适配与性能优化、产业实践及生态协同等方向展开深入交流。

聚焦实践:主流模型昇腾硬件部署与调优
大模型推理技术的发展,不仅需要框架能力的持续创新,也离不开硬件平台适配、性能优化及工程实践的长期积累。本次 Meetup 上午设置了实操环节,围绕业界主流模型 Qwen3.8-27B、DeepSeek-V4-Flash(W8A8)、GLM-5.2(W4A8)在昇腾上的部署、推理测试及性能调优展开。
现场按不同任务设置主题桌次,采取赛制并限制通关名额,先通过先拿奖。允许组队通关,同时配备昇腾技术专家现场指导。实操过程中,开发者不仅直观了解到 SGLang 在昇腾上的适配运行情况,还围绕过程中遇到的技术问题展开充分的交流与讨论。有限时间内,活动现场共计有 25 位学员通过实操验收,其中最快速度通关的学员 1.5 小时就完成现场验收并提交总结 PR,并有 1 位学员完成了 2 次现场验收并提交总结 PR。

聚焦技术:五大专题分享,深入探讨 SGLang 与昇腾协同演进
下午专题分享环节,来自开源社区、昇腾技术团队和产业合作伙伴的讲师,分别从框架架构、技术规划、核心优化及实际部署等角度带来分享,既呈现了 SGLang 与昇腾生态协同发展的技术探索,也为社区开发者和产业伙伴提供了现场交流、共同学习的机会。

SGLang 最新架构和 Roadmap:洞察开源推理框架的技术演进
来自 SGLang 开源社区的核心开发者张晓雨带来《SGLang 最新架构和 Roadmap》主题分享,整体介绍了 SGLang 推理引擎社区运作现状,并以「一个请求落到硬件」的过程逐层拆解了架构设计,最后围绕 SGLang Q4 Roadmap 展开介绍。

张晓雨《SGLang 最新架构和 Roadmap》
昇腾 SGLang 关键竞争力规划:持续推进软硬件协同优化
华为昇腾技术专家周逸文带来《昇腾 SGLang 关键竞争力规划》主题分享。结合昇腾 AI 基础软硬件平台的技术特点和大模型推理发展需求,从昇腾超节点代际演进、统一总线编程模型以及对外提供语义一致接口的 SGL-Kernel-NPU 三个方面介绍了昇腾 SGLang 在核心能力建设、性能优化、功能适配及生态发展等方面的规划与思考,阐述了通过软硬件协同优化、开源社区协作和持续技术迭代,提升 SGLang 在昇腾上的综合竞争力的相关方向。

周逸文《昇腾 SGLang 关键竞争力规划》
昇腾 SGLang + Mooncake KV Cache 社区发布:探索推理性能提升新空间
第三场分享由华为昇腾技术专家张景芳围绕《昇腾 SGLang + Mooncake KV Cache 社区发布》话题展开。议题深入介绍了基于昇腾超节点场景打造的内存池化软件 MemFabric 的三大关键能力,百 TB 级到 PB 级内存逻辑统一编址、简单的 xcopy 北向接口以及南向灵活的扩展能力,使用超节点就像使用单节点进行统一内存访问,并介绍了如何深度结合 MoonCake,在 GLM 5.2/5.3 1M 长序列场景取得吞吐 1.x 倍收益、Prefix Cache 取得带宽利用率提升 1 倍、多实例 Engram 共享取得显存节省等不同场景的优化案例。

张景芳《昇腾 SGLang + Mooncake KV Cache 社区发布》
SGLang 在 Atlas 800T A2 优化实践:从长程任务需求到软硬协同落地
产业实践分享环节,中国电信人工智能公司 PaaS 平台技术总监李立彪带来《SGLang 在 Atlas 800T A2 上的优化实践》分享。议题分享阐述了项目面临的三大现实约束,即长程任务爆发、大量 A2 设备从训练转战推理、生产主流方案在超长上下文难以兼顾高并发与低 TTFT,研发团队据此分析确定了统一至 SGLang+Mooncake Cache 的破局方案。李立彪介绍了团队由内到外的实践路径,从适配做起,保证内核以较理想效率运行,然后针对性叠加引擎优化特性、挖掘高阶能力用于发掘 Atlas 800T A2 机器的潜力,最后给出了经初步适配优化后单机并发能力提升两倍、TTFT 降低近 16% 的数据,印证了此方案的优势所在。

李立彪《SGLang 在 Atlas 800T A2 优化实践》
Dots NPU 推理部署实践:推动技术能力走向真实业务场景
最后,小红书的 Dots Infra NPU 负责人星海带来《Dots NPU 推理部署实践》分享,议题围绕 Note 结构设计、推理框架设计、量化、KV Cache 系统等不同方面的实践方案展开,并结合数据,展示了 Dots 团队在 NPU 推理部署实际业务场景中的探索与实践经验,末尾还展示了以 Cost Model 驱动联合调度的后续方案展望。

星海《Dots NPU 推理部署实践》
聚力生态:以开源协作推动技术创新与产业落地
开源生态的持续发展,离不开社区贡献者、硬件平台、产业伙伴及广大开发者的共同参与。本次 Meetup 不仅是一次技术交流活动,也是一次面向开源推理生态的协同实践。
通过上午动手实操与下午专题分享,参会者得以从技术原理、工程实践和产业应用等不同维度,深入了解 SGLang 在昇腾 AI 基础软硬件平台上的技术进展与应用探索。
未来,昇腾将继续携手 SGLang 开源社区及产业合作伙伴,坚持开放协作的理念,持续推进 SGLang 与昇腾的技术适配和深度优化,积极参与开源社区建设,推动更多技术成果转化为可落地、可复用的工程实践。
期待与更多开发者和生态伙伴携手,共同探索大模型推理技术的创新方向,构建更加开放、繁荣的开源推理生态!
昇腾 × SGLang,让开源创新与算力生态协同共进!
搜索【昇腾社区官网】,导航栏选择【活动>任务广场】,任务分类选中【业界开源社区】即可参与社区任务报名,完成验收后百万奖金等你拿。
来源:互联网



