《Agentic inference 会重写算力基础设施》

核心观点/主旨

Ben Thompson 的核心判断是：AI 算力基础设施正在从“GPU 统一承载训练与推理”的阶段，进入按工作负载分化的阶段。训练仍然需要高算力、高带宽内存和高速网络；面向人类即时回答的 answer inference 需要极高 token 生成速度；但真正的 agentic inference 不是快速回答问题，而是在没有人类实时等待的情况下持续完成任务，因此核心瓶颈会从 token speed 转向 context、state、history 组成的 memory hierarchy。这个变化会让未来最大的一块推理市场不再天然绑定最昂贵的 GPU，而更看重容量、成本、系统结构和“够用”的计算。

一、AI 芯片热潮背后的基础变化

1.1 Cerebras IPO 是一个信号，而不是孤立事件

文章开头用 Cerebras 上调 IPO 价格和发行规模说明：2026 年 5 月对芯片公司上市非常有利。
推动半导体股票上涨的根本原因是 AI，尤其是市场开始意识到 agents 会需要大量 compute。
Cerebras 代表的不是简单的“另一家 AI 芯片公司”，而是一个更宽的趋势：AI compute 的未来会越来越 heterogeneous，不再只是 Nvidia GPU 的故事。

1.2 从 GPU 单一叙事走向异构算力

过去 AI 算力叙事主要围绕 GPU，特别是 Nvidia。
文章认为，随着推理负载分化，未来不同类型的 AI 工作会适配不同架构：训练、answer inference、agentic inference 会走向不同的系统最优解。

二、GPU Era：GPU 为什么成为 AI 的中心

2.1 GPU 与 AI 的共同点是 parallel process

图形渲染本质上是大量像素并行计算，处理单元越多，图形速度越快。
AI 相关计算同样高度并行，处理单元数量和计算速度之间存在直接关系。
Nvidia 的关键贡献是让图形处理器 programmable，并用 CUDA 建立了可访问的软件生态。

2.2 AI 与图形的差异在于问题规模

AI 模型远大于游戏纹理，这推动了 GPU 上 high-bandwidth memory（HBM）的急剧扩张。
多芯片协同也变得关键：大模型需要多个芯片像一个可寻址系统一样工作。
Nvidia 在 HBM 供应和 chip-to-chip networking 两个维度都占据领先位置。

2.3 Training 是 GPU 统治力最强的场景

训练中的每一步内部计算高度并行，但训练步骤本身是 serial 的。
每个 GPU 都必须在下一步开始前与其他 GPU 共享结果。
万亿参数模型必须放进成千上万张 GPU 的总内存里，并让这些 GPU 像一个系统一样通信。
这解释了 Nvidia 为什么同时依赖 HBM、网络和系统级集成来保持优势。

三、Inference 的三段结构与 GPU 的适配性

3.1 Inference 不只是“跑模型”

文章把 inference 拆成三个部分：prefill、decode 中的 KV cache 读取、decode 中的 feed-forward 计算。
Prefill 负责把 LLM 需要知道的内容编码成模型可理解的状态，它高度可并行化，compute 很重要。
Decode 的第一部分要读取 KV cache 来做 attention calculation；这是 serial step，bandwidth 很重要，内存需求会随上下文变化并越来越大。
Decode 的第二部分是对 model weights 做 feed-forward computation；它也是 serial step，bandwidth 很重要，内存需求由模型大小决定。

3.2 Decode 的本质是 serial and memory-bandwidth bound

两个 decode 步骤在模型每一层交替出现，不是简单顺序执行。
每生成一个 token，都要读取两类 memory pools：保存上下文并随 token 增长的 KV cache，以及模型权重本身。
两者都要被完整读取，才能生成一个输出 token。

3.3 GPU 的优势是 flexible

GPU 同时处理 prefill 的高算力需求、KV cache 与 model weights 的 HBM 需求，以及单卡不够时的多芯片联网需求。
因此，训练可用的 GPU 基础设施，也可以用于 inference。
Anthropic 租用 SpaceX Colossus 1 的 220,000 多张 Nvidia GPU，被文章用来说明 GPU 的灵活性：这些 GPU 原先可用于训练，现在也可承载推理容量。

四、Cerebras：面向 answer inference 的速度型架构

4.1 Cerebras 的核心创新是 wafer-scale chip

常规芯片受 reticle limit 限制，超过限制就需要通过 chip-to-chip interposer 把多个芯片连起来。
Nvidia B200 属于这种跨芯片连接路线。
Cerebras 则通过跨越 scribe lines 布线，把整个 wafer 做成一颗芯片，避免相对较慢的 chip-to-chip linkages。

4.2 WSE-3 的优势是极高 SRAM bandwidth

WSE-3 拥有 44GB on-chip SRAM 和 21 PB/s bandwidth。
H100 拥有 80GB HBM 和 3.35 TB/s bandwidth。
文章强调：WSE-3 的内存只有 H100 的一半多一点，但 memory bandwidth 是 H100 的约 6000 倍。

4.3 Cerebras 更适合快速生成 token，而不是大规模训练

Cerebras 可用于训练，但 chip-to-chip networking 并不突出，导致其算力和片上内存很难在训练场景里充分释放。
它更适合 inference，尤其是让用户看到比 GPU 快很多的 token stream。
但限制也很明确：只要模型或 KV cache 超出 on-chip memory，Cerebras 的优势就会急剧下降。
wafer-scale 的高良率难题也会显著推高成本。

4.4 速度价值主要对应有人等待的场景

Cerebras 当前强调 speed 对 coding 的价值：reasoning 需要大量 token，tokens-per-second 越高，思考显得越快。
Thompson 认为这只是临时用例，因为编码中的人类介入未来可能被机器接管。
长期来看，speed 真正重要的是人类在等答案的场景，尤其是 voice interaction 和 AI wearables 这类实时体验。

五、Agentic Inference：从“给答案”到“做任务”

5.1 LLM 时代的三个拐点

ChatGPT 展示了 token prediction 的 utility。
o1 引入了 reasoning：更多 token 可以带来更好的答案。
Opus 4.5 和 Claude Code 展示了第一代 usable agents：它们结合 reasoning models、tools、verification 等 harness，开始真正完成任务。

5.2 Answer inference 与 agentic inference 的分野

两者都属于 inference，但本质不同。
Answer inference 是提供答案，面向人类等待，核心指标是 token speed。
Agentic inference 是完成任务，不只是说出答案，而是用工具、验证工作、保留状态并推进任务。
文章认为 Cerebras 的目标市场更像 answer inference，而 agentic inference 的长期架构会不同于 Cerebras，也不同于传统 GPU 路线。

5.3 Human in the loop 会变成临时状态

目前用 LLM coding 仍需要人类定义任务、检查结果、提交 pull request。
但作者认为未来这些环节都可能完全由机器处理。
Agents 的真正力量不是“为人类工作”，而是“在没有人类参与的情况下工作”。

六、Agentic inference 的瓶颈：memory，而不是 speed

6.1 Agents 需要 context、state、history

Answer inference 最重要的是 token speed。
Agentic inference 最重要的是 memory。
Agents 需要上下文、状态和历史：一部分是 active KV cache，一部分在 host memory 或 SSDs 中，更多会存在 databases、logs、embeddings 和 object stores 里。
因此，agentic inference 更像是围绕模型搭建的 memory hierarchy，而不是 GPU 回答一个问题。

6.2 Agentic-specific memory hierarchy 带来 speed for capacity trade-off

专门面向 agent 的 memory hierarchy 必然意味着用速度换容量。
如果没有 human in the loop，较低速度并不一定重要。
如果 agent 在夜间运行任务，它不会感知用户体验上的等待；最重要的是任务能否完成。

6.3 Latency 不是首要约束时，便宜而慢的内存更合理

如果 delay 可以接受，那么单纯追求 pure compute power 和 HBM 就显得不再合适。
传统 DRAM 这类 slower and cheaper memory 会更有吸引力。
如果系统主要在等内存，芯片本身也不必总是最前沿的 cutting edge。

七、未来三类 AI 算力市场会分化

7.1 Training 仍由 Nvidia 式架构主导

Training 会持续重要。
高速 compute、大量 HBM、高速 networking 仍然是训练的核心要求。
Nvidia 当前架构很可能继续主导训练市场。

7.2 Answer inference 是有意义但相对较小的市场

Answer inference 会继续存在，尤其是人类实时等待答案的场景。
Cerebras、Groq 这类强调 token speed 的芯片会很有用。
但作者判断，这个市场相对较小。

7.3 Agentic inference 将逐步 unbundle the GPU

GPU 在 prefill 过程中可能搁置 HBM，在 decode 过程中可能搁置 compute。
Agentic inference 会推动更复杂的 memory hierarchy，用高容量、低成本内存和“够用”的 compute 替代单一昂贵 GPU 方案。
甚至在 tool use 等环节，CPU 速度可能比 GPU 速度更重要。
文章的判断是：agentic inference 会成为最大市场，因为它不受人类数量和人类时间限制，而是随 compute 扩展。

八、对 Nvidia、中国与太空数据中心的含义

concepts｜2️⃣ 关键概念、概念网络

agentic reading｜3️⃣ 费曼 x3