当 AI 开始干活,英伟达重造一座 Token 工厂

摘要

代理式 AI 正在把基础设施的压力从 GPU 推向整套系统。英伟达用七颗芯片、五种机架拼成 Vera Rubin POD,试图把 CPU、GPU、网络、存储与安全收进同一套协同架构。它要争夺的不只是更高的峰值算力,而是生产每一枚 Token 的成本。

一个 AI 智能体不再答完一句话就停下。

它会拆解任务、检索资料、调用工具、执行代码,再根据结果调整下一步动作。一次请求可能拉出一串连续工作流,吃下更多推理 Token,撑大 KV 缓存,还要借助 CPU 沙盒测试和验证结果。GPU 依然重要,却不再能独自扛起整项工作。

只要 CPU、网络或存储慢上一拍,昂贵的 GPU 就只能停下来等。

这正是英伟达为 Vera Rubin 选择的新起点。真正重要的不是又一颗 GPU 比上一代快了多少,而是英伟达开始把七颗芯片、五种机架捏成一台机器,让整座 AI 工厂围绕同一件事运转——以更低成本生产更多 Token。

01

当 GPU 不再是唯一的瓶颈

过去的数据中心主要存储、检索和处理数据。生成式 AI 兴起后,数据中心开始生产 Token;到了代理式 AI 阶段,生产过程又被进一步拉长。

预训练主要追求大规模并行计算,智能体则会把压力撒向更多环节。长上下文推理需要频繁读取和移动数据,连续调用工具会增加 CPU 任务,分布式推理不断扩大 KV 缓存,多个智能体同时工作,还会把吞吐量、响应时间和服务稳定性一起推向极限。

基础设施由此出现一个过去并不突出的矛盾:单颗芯片可以很快,整套系统却未必跑得起来。

数千乃至更多 GPU 同时计算时,网络只要出现抖动,一部分 GPU 就会等另一部分 GPU;CPU 如果处理不过来,强化学习和智能体任务也会被拖住;存储跟不上,反复生成的上下文记忆便堵在路上。峰值性能写在参数表里,真正能够交付给用户的 Token,却取决于每个环节能否接得住。

英伟达因此把 Vera Rubin 定义为一个平台,而不是一颗芯片。

这套平台纳入 Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机和 Groq 3 LPU。七颗芯片从设计阶段便相互配合,覆盖大规模预训练、后训练、测试阶段扩展以及实时智能体推理。

它们共同指向一个变化:AI 基础设施的竞争单位,正在从单颗 GPU 抬升为整座 AI 工厂。

02

七颗芯片,拼成一台超级计算机

Vera Rubin POD 把这种思路推得更远。

它由五种专用机架级系统构成,包括 Vera Rubin NVL72、Vera CPU、Groq 3 LPX、Vera BlueField-4 STX 存储和 Spectrum-6 SPX 以太网。五种机架不再各自为战,而是组合成一台面向智能体工作负载的 AI 超级计算机。

其中,Rubin GPU 扛起密集计算,Vera CPU 处理智能体、强化学习和数据处理等任务,NVLink 负责机架内高速互联,Spectrum-6 将算力向更大规模的数据中心延伸,BlueField-4 STX 则把存储和安全推到数据路径中。每个组件都有自己的位置,也都在替 GPU 搬走一种等待。

Vera CPU 是其中颇有代表性的一块。

传统数据中心里的 CPU 更多承担通用计算和系统调度,但智能体会产生大量需要快速执行的串行任务。与此同时,实时分析、上下文切换和数据移动又在持续吞噬内存与网络带宽。CPU 一旦跟不上,再强的加速器也可能空转。

Vera CPU 配备 88 颗英伟达定制的 Olympus 核心,内存带宽达到 1.2TB/s。英伟达称,其任务完成速度达到传统 x86 CPU 的 1.8 倍。它既可以直接连接加速器,也可以作为独立 CPU 节点工作,将强化学习、数据预处理等 CPU 密集型任务从 GPU 身边接走。

网络承担的是另一种压力。

传统云计算网络允许一定程度的延迟波动,AI 工厂却要求大量处理器紧密协作。一次通信延迟可能让整个并行任务排队,因此高带宽之外,低时延、低抖动和无丢包同样决定算力能否真正用满。

Spectrum-X 以太网由交换机、网卡、软件和通信库协同设计。其硅光产品采用光电一体封装技术,将光器件拉近交换芯片,减少长距离电信号传输带来的功耗与损耗。Spectrum-X CPO 已进入全面量产,承担 Vera Rubin 在数据中心的横向扩展和跨区域扩展。

存储也不再只是给数据找一个落脚点。智能体会反复读取上下文、调用记忆并在多步骤任务间传递状态,KV 缓存因此成为新的高频数据层。BlueField-4 STX 面向长上下文推理提供加速存储,同时借助 DOCA 安全能力,检查和管理智能体、数据与上下文记忆之间的交互,把安全策略直接压进芯片和数据路径。

至此,Vera Rubin 的逻辑才完整露出来:不是让每个部件各自跑得更快,而是尽量不让任何部件挡住 Token 的去路。

03

AI 工厂最后只认一笔账

当基础设施变成一座工厂,评价它的方式也要跟着改变。

传统数据中心习惯计算服务器采购、机房建设和运维支出。AI 工厂当然也要计算这些成本,但它最终交付的不是存储空间或计算时长,而是一枚枚 Token。硬件性能、软件优化、能耗、利用率和系统可靠性,最后都会汇入同一个结果:生产一枚 Token 要花多少钱。

这也是英伟达反复强调每 Token 成本的原因。

更快的 GPU 不一定自动带来更便宜的 Token。如果网络拥塞让算力互相等待,如果 CPU 成为强化学习的瓶颈,如果 KV 缓存反复在低效存储间搬运,账面上的峰值性能便无法完整变成收入。反过来,同等数量的 GPU 只要能产出更多 Token、消耗更少电力,并且减少中断时间,整座 AI 工厂的经济性就会发生变化。

英伟达称,Vera Rubin 在大规模部署中的智能体吞吐量可达到 Grace Blackwell 的十倍。这个数字不只描述芯片速度,也建立在 CPU、GPU、网络和存储共同工作的基础上。英伟达要证明的不是某一块硬件赢了,而是协同设计能够把更多理论算力推到账面之外,变成可以交付的 Token。

这笔账甚至在机房建成前就已经开始计算。

借助 Omniverse,AI 工厂可以先在数字世界里跑一遍:调整 GPU 数量,比较液冷与风冷方案,测算 PUE 和长期成本,观察温度变化,模拟节点故障和链路中断。过去需要等设备进场后才能暴露的问题,被提前搬到数字孪生里处理。基础设施不再是买回设备再慢慢磨合,而是从电力、冷却、机柜到工作负载一起设计。

从 GPU 到网络,从计算到存储,再到机房的电力和冷却,英伟达正在把自己的边界向外推。Vera Rubin 表面上是一轮硬件升级,背后押注的却是一条更长的路线:当智能体开始连续工作,决定胜负的不会只是单颗芯片跑得多快,而是谁能把整座 AI 工厂拧成一台机器,更稳定、更经济地生产智能。

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。