llm-d 1.0 把集群级推理做进生产:11.5 倍成本差背后,自建的门槛变了
1.0 交付的是上线之后的活
2026 年 10 月 20 日,PyTorch Conference 北美站,由 Red Hat、IBM、Google Cloud、CoreWeave、NVIDIA 于 2025 年共同发起、现由 CNCF 托管的 llm-d 发布 1.0 正式版。这一版的重点不是再刷一次跑分,而是把工程重心挪到上线之后:路由器主备热切换,预填充与解码副本作为一个整体锁步升级,按租户与优先级分流的多租户流控,以及把多轮会话钉在已持有 KV 缓存的副本上。项目现有 500 多名贡献者、覆盖 25 个以上组织,这个结构决定了它更接近企业级组件而不是实验室项目。
11.5 倍这个数字怎么来的
被引用最多的算例来自 IBM Research 的量子纠错研究:开放权重模型叠加 llm-d,推理成本比全闭源方案低 11.5 倍,混合服务成本约每百万 tokens 0.11 美元,前缀缓存命中率接近 98%。另一组是 GLM-5.2:744B 总参数、39B 激活、78 层 MoE,跑在已经大量在役的 NVIDIA 卡上,峰值每分钟输出超过 660 万 tokens,同时承载 3000 个编码智能体且零抢占,单 token 成本比同档商用 API 低 5 到 10 倍。IBM 官方发布稿与 Tech Times 的独立报道在三组核心数字上一致,可视为已交叉认证;AWS 在 SageMaker HyperPod 上称比标准 vLLM 高出 70% 吞吐,这条属厂商自报。
三个技术账撑起成本差
低成本不是靠单卡堆出来的。第一是前缀缓存感知路由:请求被送到已经缓存同一段长前缀的副本,直接跳过最贵的预填充阶段;智能体场景里的系统提示、工具定义、历史对话天然共享前缀,这就是 98% 命中率的来源。第二是分层 KV 缓存卸载:显存写满后把缓存块溢到 CPU 内存或本地 SSD,官方基准在 250 并发下给出 13.9 倍吞吐提升。第三是预填充与解码分离:计算密集段放 GPU 密集节点,带宽受限的解码段放内存优化机型,两池之间用 NIXL 搬 KV 块。
自建的判断线该画在哪
我的判断:这组数据足以证明自建可以比 API 便宜,但不能直接搬进预算表,有三条边界必须先算清。其一,命中率的前提:98% 只在单一业务、长共享前缀的智能体流量下成立,多租户杂流量一掺,命中率下滑,成本优势同步缩水。其二,门槛是集群不是卡:Kubernetes 与 CNCF 体系的运维能力、节点间高速互联、拿 SSD 当缓存的寿命折算,少任何一项都会把 0.11 美元抬回原形,只比 API 便宜两三倍的水平。其三,对比基准要对齐:5 到 10 倍是相对同等商用 API 价格算的,如果自身调用量本就落在长尾低频段,省下的钱不一定养得起一个推理运维团队。落到选型上,智能体与文档密集型业务、年调用量在十亿 tokens 量级、手上有存量 NVIDIA 卡的团队,值得做一次三个月试点,用自有流量实测命中率再定;纯对话、波峰波谷悬殊的团队,继续走 API 更划算。
试点起步的配置建议
把上面的账落到机房,llm-d 1.0 的可行性其实不取决于买多少卡,而取决于你现有的集群能不能喂饱它的三件事:一是节点间带宽,KV 块在预填充与解码两池之间搬,互联一慢,13.9 倍吞吐与 70% 增幅都会先被网络吃掉;二是缓存盘的耐久,把 SSD 当 KV 缓存的二级池,写放大和寿命折旧要直接计入每百万 tokens 的成本;三是运维班底,多租户流控与零停机升级省的是事故成本,前提是有人会调这套 Kubernetes 原生组件。
来源:IBM 官方发布稿(2026-10-20)、Tech Times 报道(2026-10-21)。