10 月 16 日，第十届 CSDI Summit 中国软件研发智能创新科技峰会在深圳举行。
10 月 16 日，第十届 CSDI Summit 中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO 宣善明在主论坛发表题为《Agentic 时代 AI 基础设施实践与趋势》的主题演讲，围绕 Agentic 时代 Token 增长趋势、异构推理集群实践及 AI 基础设施新技术探索等话题，分享了商汤大装置在大规模推理服务领域的技术探索与实践。
【商汤大装置副总裁、CTO 宣善明】
宣善明指出，随着 AI 应用从对话式问答逐步走向多 Agent 协作和长任务执行，Token 需求呈千倍级增长，AI 基础设施正面临需求爆发与算力供给约束并存的新局面。未来，行业竞争的关键不仅是拥有多少算力，而是如何通过架构创新、异构协同和资源调度等，以更低成本、更高效率、更稳定地持续产出高质量 Token。
从算力规模到 Token 产能，AI 基础设施迎来效率之变
相较于传统对话式问答，单 Agent 工具调用、多 Agent 协作以及长任务、无人值守执行，涉及更多模型调用、推理轮次和上下文处理，Token 消耗呈现千倍级增长。与此同时，高端芯片供给受限、存量算力与推理任务的资源需求不匹配等问题，使算力供给难以同步扩张。行业数据显示，2026 年推理支出预计占 AI IaaS 总支出的比重将达 55%，预计 2027 年将升至 59%。
与此同时，不同应用对 Token 的需求也存在明显差异。基础问答更关注单位成本和并发能力，办公 Agent、客服等场景则对响应延迟和生成速度有更高要求，而科学探索、金融量化等高价值场景则更加重视结果准确性、可审计性与可追溯性等。首 Token 延迟（TTFT）、生成速度（OTPS）、长上下文缓存、并发能力、调用成功率等指标，共同决定了 Token 服务的质量与成本。
宣善明讲到：「这意味着，AI 基础设施不能再依赖单一硬件配置满足所有任务，而需要根据不同场景的服务要求，对算力资源进行分层组织和精准调度。从规模扩张转向效率优化，从单点硬件替代转向异构协同，成为 Agentic 时代 AI 基础设施的重要发展方向。」
以 PD 分离为核心，构建万卡级异构推理集群
面对高端算力供给约束与推理需求增长之间的矛盾，商汤大装置探索分离式推理架构，通过 PD 分离与异构混合调度，让不同类型的算力承担各自更适合的任务。
在大模型推理过程中，Prefill 负责处理输入 Token，具有较强的计算密集型特征；Decode 负责逐步生成输出 Token，需要持续读取上下文缓存，对显存带宽有较高要求。PD 分离将二者解耦：由适配的国产算力集中承担 Prefill 任务，由高带宽的高阶 GPU 承担 Decode 任务，再通过 KV Cache 传输连接两个阶段。这一方案并非简单地将不同芯片组合在一起，而是围绕计算特征、显存带宽和任务需求重新组织算力资源。国产算力由此从承担基础推理任务，进一步参与更高层级的推理服务，在满足不同场景服务质量要求的同时，提升混合集群的整体效率与性价比。
基于这一思路，商汤大装置在临港 AIDC 持续开展异构推理实践，构建起万卡级异构推理集群。实现这一架构，需要解决不同代际、不同类型算力之间的互联问题，在同一集群中融合 800G、400G、200G 等不同规格的网络，保障 Prefill 节点与 Decode 节点之间 KV Cache 的高效传输。
但是随着集群规模扩大，节点故障和资源闲置也成为新的工程挑战。例如，在部分异构配置中，可能需要 30 至 50 个中低阶 Prefill 节点，才能匹配一个 Decode 节点的处理能力。一旦 Decode 节点发生故障，大量 Prefill 资源也可能随之闲置，影响整体服务效率。
对此，商汤大装置实践了两种优化方式。一种是在 Prefill 资源池中预留少量高端算力，当 Decode 节点出现故障时，可以快速调配高端节点进行补位；另一种是让集群中的节点具备 Prefill 与 Decode 角色的动态切换能力，根据实时负载和资源压力，灵活调整节点分工，实现算力资源的动态流动与弹性调度。通过这两种方式，可以在降低成本的同时，保障大规模异构集群持续、稳定地输出高质量 Token。
围绕这些实践，商汤大装置进一步构建起覆盖能源设施、资源互联、KV 数据面、推理运行时、服务调度和交付层的六层架构体系，将异构硬件组织为可统一调度、弹性运行的推理服务体系。
据宣善明介绍，在特定测试配置下，相较于基准方案，在相同数量的高端旗舰卡条件下，通过异构推理与资源协同，整体 Token 吞吐量可提升至原来的 5 倍。
从跨域 PD 分离到 AF 分离，持续拓展推理架构边界
在大规模异构推理的基础上，商汤大装置还在探索跨域 PD 分离、AF 分离等技术方向，进一步释放分散算力资源的协同潜力。
跨域 PD 分离旨在打破单个数据中心的资源边界。 宣善明讲到，在单个数据中心实现 PD 分离之后，下一步探索的是跨域 PD 分离，进一步盘活不同地区的算力资源。商汤大装置在全国与各地政府合作，通过跨域协同，可以由本地中低阶算力承担 Prefill，将 KV Cache 传输至其他地区的高阶算力集群完成 Decode，实现跨集群、跨机房乃至跨地域的推理编排。
这一方向的可行性，也与模型架构演进密切相关，1M 上下文的 KV Cache 规模在部分模型中已从近 100GB 降至约 1GB，大幅降低了跨域传输的压力。商汤大装置还探索引入主体 Decode 节点（MD）和中继 Decode 节点（RLD），以支持异地场景下的推理编排，这样即使区域不具备完整的高阶算力能力，也可以通过整合不同规模、不同性能的算力资源，推动一体化算力网从资源连接走向任务协同，实现更高吞吐、更高质量的 Token 服务。
AF 分离则进一步将推理过程中的不同计算任务解耦。 在 Decode 阶段，Attention 主要负责处理上下文、提取关键信息，对显存容量和带宽要求较高；FFN 承担大量矩阵乘法运算，对计算能力要求更高。传统架构将二者绑定在同一套 GPU 资源上，可能造成资源争抢。AF 分离通过将 Attention 与 FFN 部署到更适合各自任务特点的硬件上，实现独立扩展与资源优化。
未来，AF 分离有望带来单卡吞吐提升 150% 至 200%、运营成本降低 30% 至 40%，整体能效提升至原来的两倍以上。相关收益仍取决于具体模型架构、硬件配置和系统实现，但其技术思路是一致的：持续识别推理过程中的性能瓶颈，通过更细粒度的任务拆分与资源配置，提升整体系统效率。
从 PD 分离到跨域 PD 分离，再到 AF 分离，未来推理架构的持续演进有望进一步释放推理基础设施的性能与成本优势。
从调参艺术走向系统工程，以 SLA 和成本衡量推理价值
宣善明认为，推理基础设施的优化需要回到两个核心指标：一是端到端的服务质量，即系统能否满足约定的响应速度、生成效率、并发能力和调用成功率；二是成本，即在满足相应服务质量要求的前提下，单位投入能够产生多少有效 Token。
这也对基础设施提出了更高要求。国产算力、先进算力与不同模型之间需要持续适配，模型和应用的快速迭代又进一步增加了优化复杂度。只有将硬件配置、模型特征、任务需求与调度策略纳入统一体系，才能在多维组合中持续寻找更优解。
目前，商汤大装置正通过 Token 工厂模式提升大规模推理服务能力。商汤大装置平台日均 Token 服务量已达到 6 万亿，预计 2026 年全年 Token 服务规模将实现 25 倍增长，并在第四季度达到日均 10 万亿 Token 规模。
宣善明表示，Agentic 时代稀缺的不是芯片，而是稳定、低成本、高等级持续产出 Token 的系统能力，这涵盖了系统效率、架构创新与产业交付能力的完整体系。从技术实践到业务交付，商汤大装置希望推动推理基础设施从依赖经验的调参过程，走向可度量、可优化、可验收的系统工程，让算力投入最终转化为稳定的 Token 服务产能。
来源：互联网
