AI 推理新阶段：读问题靠算力，写答案靠带宽，预填充‑解码分离正在重塑芯片选型

步步糕升

      使用大模型的时候，很多人都有这样的体验：粘贴一份上万字长文档提交，要等待数秒才看到第一个输出文字；可一旦第一个字出来之后，后续文字会源源不断快速吐出。
      这前后两段体验，对应大模型推理两个完全不一样的工作阶段：预填充（Prefill，读输入问题）与解码（Decode，输出答案）。二者硬件瓶颈完全相反，预填充吃算力，解码吃内存带宽。传统方案把两个阶段跑在同一批显卡上，会互相干扰、资源浪费。于是行业开始走向 PD 分离（Prefill‑Decode Disaggregation），不仅服务架构拆分，连 AI 芯片也开始针对两个场景做差异化设计昇腾社区。

提示：本文属于技术产业科普，文中厂商硬件规划、性能描述来自公开技术资料与行业报道，不构成任何硬件采购、投资建议。

一、一次 AI 回答，分为完全不同的两步

大模型生成回答分为两个核心阶段：

• 预填充 Prefill（读问题，决定首字时延 TTFT）用户提交完整提示词、长文档，模型一次性并行处理全部输入 token，读取全部上下文，生成 KV 缓存（可以理解成每一段文本对应的 “便利贴记忆”），并且计算出输出的第一个 token。这一步是计算密集型任务，大量矩阵并行运算，核心瓶颈是芯片算力。输入文本越长，需要完成的总运算量就越大，用户等待看到第一个字的时间也就越长。
• 解码 Decode（写答案，决定单字间隔 TPOT）拿到第一个 token 之后，后续输出只能逐字串行生成：必须等上一个字算完，才能计算下一个。每生成一个新字，都需要重读模型权重，还要读取该会话完整的 KV 缓存。解码阶段计算量很小，但需要反复搬运海量数据，瓶颈是显存带宽，大量计算单元处于空闲等待数据状态，算力资源得不到充分利用。
  

通俗工厂比喻：芯片计算单元是工人，显存是仓库，内存通道是叉车。

• 预填充：一次性送来几千份零件，工人满负荷干活，叉车等待；算力是瓶颈。
• 解码：每次只加工一件零件，工人大部分时间闲置，叉车不停来回搬运物料；内存带宽是瓶颈。
  

二、混合部署的痛点：两个阶段互相拖累

过去绝大多数推理服务，预填充和解码混合跑在同一组 GPU/NPU 集群，会出现不可调和的冲突：当集群正在为大量用户做逐字解码输出，突然来了一份上万字长文档请求。系统要执行预填充，大量算力被抢占，正在生成回答的所有用户都会出现明显卡顿停顿。如果优先保障解码会话，新用户提交长输入，就要排队很久，首字等待时间急剧拉长。二者时延指标互相拉扯，很难同时兼顾首字响应速度和输出流畅度arXiv。
即便采用分块预填充（Chunked Prefill）把大输入切分成小块穿插执行，只能缓解矛盾，没有从根源消除争抢硬件资源的问题。同时两类任务对硬件配置偏好不同：例如 MoE 混合专家模型，预填充阶段输入 token 数量巨大，可以充分喂饱大量专家；解码阶段单步 token 少，适合减少单卡专家数量。同一套硬件配置，无法同时对两类任务做到最优。
三、解决方案：PD 分离，两套硬件各司其职

行业提出彻底的解法：预填充与解码物理分离部署。

• 专门一组机器作为预填充池：负责读取用户输入文档，完成并行计算，生成 KV 缓存和首 token；
• 通过高速网络，把生成好的 KV 缓存传输给解码池；
• 解码池专门负责持续逐字生成后续全部输出内容，不再处理新用户的输入读取工作昇腾社区。
  

两套集群可以独立调优硬件规格、批处理参数，不再互相干扰。2024 年，DistServe（北大‑UCSD）、微软 Splitwise 等论文验证该架构收益；月之暗面 Mooncake、DeepSeek 等国内团队也落地生产实践。测试数据显示，在同时满足时延指标前提下，系统整体吞吐最高可以提升数倍；甚至可以异构搭配，高性能卡做预填充，上代显卡承担解码，在同等功耗成本下显著提升整体服务能力arXiv。
但 PD 分离也带来新工程难题：

• KV 缓存跨节点传输开销预填充产出的 KV 缓存需要完整搬家到解码集群。例如 70B 模型一万字上下文，KV 缓存可达数 GB，依赖 RDMA、400G/800G 高速网络降低传输耗时。工程上会采用边计算边流式传输，把传输时间重叠在计算时间中，减少用户感知延迟。模型的 KV 缓存体积越小，分离架构收益越高。
• 集群配比动态难题业务流量特征时刻变化：文档总结场景输入长、输出短，预填充压力更大；AI Agent 深度思考类任务，输入简短、输出极长，解码压力占主导。固定的预填充 / 解码机器配比，很容易出现一组机器忙死，另一组闲置。生产环境需要调度大脑，依据实时负载动态调度资源池。
  

四、从软件拆分走向硬件专门化：芯片也开始分家

既然两类任务硬件需求差异巨大，芯片厂商不再追求 “一颗芯片通吃全部推理”，开始针对预填充、解码分别设计硬件。
华为昇腾 950PR / 950DT

基于同一套核心 die 衍生两款不同内存配置芯片：

• 950PR 面向预填充场景：强化算力，搭配成本更低的内存，不追求极致带宽；适配长输入文档、推荐这类计算密集业务。
• 950DT 面向解码与训练：搭载高规格大容量高带宽内存 HBM，主打超高带宽，适配解码阶段高频大量数据搬运的需求。思路很直接：稀缺昂贵的高带宽内存，只用在真正需要它的解码环节，预填充不需要就不配置，把硬件资源花在刀刃上。
  

英伟达的路线反复：Rubin CPX 与 Groq3 LPU

• Rubin CPX：最初定位长上下文预填充专用芯片，堆高算力，放弃昂贵 HBM 改用 GDDR7；后续从公开路线图撤下，供应链消息称存在重新调整规划的可能性。
• Groq3 LPU：走向另一个极端，把大量 SRAM 内存直接放在芯片内部，带宽极高，但单颗总存储容量很小。适合解码高带宽诉求，但放不下完整大模型权重与海量会话 KV 缓存。现实中需要和 GPU 配合协同工作，GPU 保存大权重与 KV 缓存，LPU 承担部分解码计算，依赖极高速度互联机柜，2026 年已经有机柜产品投产。
  

行业现状：软件层面 PD 分离已经成为大模型推理主流架构；但硬件层面专用芯片路线还处在摸索阶段，各家厂商方案并不统一，没有形成标准答案。

五、这件事对行业意味着什么

• 通用 GPU “一包打天下” 的时代正在松动过去选购 AI 芯片主要看通用跑分；未来要先看懂业务流量特征：业务是长输入多，还是长输出多，再选择适配算力、带宽配比的硬件，单纯堆算力或者堆带宽都可能造成巨大资源浪费。
• 推理成本抠到硬件细节层面大模型线上推理是 AI 企业最大开销。PD 分离的本质就是资源精细化：计算密集任务给高算力硬件，访存密集任务给高带宽硬件，避免昂贵 HBM 内存被浪费在并不需要高带宽的预填充任务，以此压低每一个 token 的生成成本。
• 架构复杂度上升，门槛抬高PD 分离不是开箱即用的优化。它对高速网络、KV 缓存管理、动态调度、故障容错都提出更高要求。中小团队直接照搬会遇到运维难题，分块预填充等轻量化优化依旧有很大实用价值，不是所有业务都必须上物理 PD 分离。
  

六、常见误区澄清

❌误区 1：PD 分离就是把同一个模型跑在两套显卡上，随便改改配置就能性能翻倍✅真相：PD 分离会引入 KV 缓存传输、调度复杂度，流量特征不合适甚至会出现性能倒退，需要配套高速网络与调度系统。
❌误区 2：解码阶段算力越高，生成文字速度就越快✅真相：解码绝大多数场景瓶颈是内存带宽，算力再强，如果数据搬运跟不上，速度也无法提升。
❌误区 3：专用预填充、解码芯片会立刻全面替代通用 GPU✅真相：软件 PD 分离可以跑在通用 GPU 集群；专用差异化芯片尚在迭代，会和通用硬件长期共存。
七、全文总结

大模型一次回答分为预填充 “读问题”、解码 “写答案” 两个阶段。预填充是算力瓶颈，解码是内存带宽瓶颈，混合部署会互相干扰时延与吞吐。PD（预填充‑解码）物理分离架构，将两类任务分到不同硬件池，独立调优，显著提升集群资源利用率，已经从学术论文走向大规模工业落地。随之而来 KV 缓存跨节点传输、动态资源配比是工程上的新挑战。
顺着软件拆分思路，芯片厂商开始推出差异化硬件，分别适配计算密集的预填充和带宽饥渴的解码场景。但硬件路线还处在摸索阶段，没有统一标准答案。未来评估 AI 推理硬件，不再只看单一跑分，更要看业务真实流量特征，把算力、带宽资源匹配到对应的工作负载，才是控制推理成本的关键。