🔀 PD 分离服务
Prefill/Decode 分离(PD disaggregation)把推理的两个阶段拆到不同实例:prefill 算力密集、decode 带宽密集,分离后各自独立扩缩容与调优。代价是必须把 KV cache 从 prefill 实例传到 decode 实例,于是『KV 传输』成为核心战场。这条路径从架构指南与 router 讲起,经 push 传输、双向传输等关键优化,再到混合架构与算子级解耦变体,最后以三个生产规模实战收尾。
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
首选入门:PD 分离的价值、vLLM 端到端部署方法、GPU-less frontend 与尚未解决的问题,一篇文章建立全局图景。
vLLM Router: A High-Performance and Prefill/Decode Aware Load Balancer for Large-scale Serving
vLLM Router:分离架构的调度大脑,prefill/decode 感知路由与高性能实现。
Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
push 模式 KV 传输:decode 端预注册目标块、prefill 端后台线程直接 NIXL WRITE,把协调与 setup 移出 TTFT 关键路径。
Improve TTFT for Multi-Turn Agentic Workloads with Bi-Directional KV Transfer in vLLM
双向 KV 传输:decode 端的 KV 回传 prefill,多轮 agent 负载避免重复 prefill,TTFT 最高降 3.3x。
Disaggregated Serving for Hybrid SSM Models in vLLM
混合 SSM(线性注意力)模型的分离:除 KV 外还需迁移 Mamba conv state,块映射的物理-逻辑双视图设计。
Announcing vLLM AFD Plugin: Disaggregating Attention and FFN for Flexible MoE Serving
AFD 插件:把 attention 与 FFN 也解耦,MoE serving 的新自由度,含 GPU/Ascend 后端。
vLLM x TileRT: Specialized Decode for Latency-Critical Serving
TileRT:vLLM prefill + 专用低延迟 decode 引擎,通过 V1 connector 接入,零改动 vLLM,展示分离架构的可组合性。
From Day 0 to Production SLAs: Serving GLM-5.2 on 24 NVIDIA B300 GPUs with vLLM
生产实战 1:GLM-5.2-NVFP4 在 24×B300 上从 40ms 到 17ms TPOT,SLA-first 的配置取舍过程。
PD Serving of Qwen3.8-2.4T
生产实战 2:Qwen3.8-2.4T 在 GB300 NVL72 上 PD serving 达 5K throughput / 180 interactivity,含复现步骤。
vLLM Reaches 25K Total TPS/GPU on Qwen3.5
生产实战 3:Qwen3.5 GB200 分离 serving 25K TPS/GPU,GDN kernel、HMA 传输与异步调度 fix 的组合拳。
- 为什么要分离:prefill 与 decode 的资源画像差异巨大(计算 vs 带宽),合租导致互相干扰;分离后可按负载分别选型与扩缩,提高整体吞吐与 SLO 达成率。
- 核心挑战是 KV 传输:传输延迟直接加在 TTFT 关键路径上,优化方向包括 push 模式(提前注册 + 发起方承担 setup)、双向传输(decode 端 KV 回传 prefill 复用)与传输引擎(NIXL/RDMA)选择。
- router 是分离架构的大脑:vLLM Router 做 prefill/decode 感知调度,决定请求路由与实例配比(1P1D/1PnD 等)。
- 变体思路:混合 SSM 模型要同时搬 KV 与 conv state;AFD 把 attention 与 FFN 也解耦;TileRT 展示『专用 decode 引擎』通过 connector 接入的开放性。
- 生产落地要点:配比与 SLA 联合调优(GLM-5.2 从 40ms 到 17ms TPOT 的 trade-off 分析)、大集群配平(Qwen3.8 GB300 NVL72)、量化(NVFP4)与 PD 的组合收益。