KV 缓存压到 4bit、显存减半:vLLM 0.32.0 之后,自建的卡数账和验收单都要改

行业新闻 · 丁香 · 发布 2026-10-25 · 阅读 40

这次更新真正改的不是版本号,是显存口径

10 月 18 日,开源推理引擎 vLLM 发布 v0.32.0。官方发布说明写明这一版包含 814 次提交、363 位贡献者,其中 121 人属于首次提交。对自建推理的企业,要紧的不是版本号,而是低精度 KV 缓存从少数卡型上的可选项,变成了多数硬件上的默认路径——显存、并发、每百万词元成本三笔账同时被改写。

四条硬变化,数字全部来自官方发布说明

其一,NVFP4 KV 缓存铺开。SM8x(Ampere)、SM90(Hopper)、SM12x 均可运行 NVFP4 KV;MiniMax-M3 的稀疏注意力在 SM100 上同样支持。低精度缓存不再是新卡专属。

其二,GLM-5.x 在 SM100 上默认 FP8 KV。官方 PR 基准显示每 rank 的 KV 显存减半,吞吐提升 2.3% 至 5.5%,代价是首字延迟变差 7% 至 11%。这是本次最值得抄进成本模型的一组数。

其三,SM90 上的 fp8_ds_mla 让 GLM-5.3-Flash 输出吞吐最多提升 31%。同一张卡、同一模型,只是把 KV 的存储格式换掉。

其四,ROCm 侧新增 4bit 的 ultraquant_4bit KV,密度约为 FP8 的两倍。对用 AMD 卡做自建的团队,这是本次唯一的显存级别变化。

另外两条容易漏看:api-server-count 大于 1 时,连接按最闲 API worker 分发,官方基准(Qwen3-0.6B,32 词元输入、1 词元输出)短请求每秒请求数提升 43% 至 85%;HiSparse 的按请求驻留缓存在 B200 上跑 GLM-5.3-NVFP4、长上下文高并发时吞吐最多提升 58%。这两条与精度无关,却同样直接换算成卡时。

把百分比换成钱:三笔测算

下面是我按官方数字做的折算,假设条件写在括号里,采购评审可以直接改参数。

显存账。KV 显存减半,意味着同模型、同上下文长度、同 batch 上限的口径下,一张卡能承载的并发上下文接近翻倍。若单机原本受 KV 限制只能跑 32 路并发,减半后可到 64 路,摊到每个请求上的卡时砍掉一半。这是本次更新对私有化总成本影响最大的一条,也是唯一不依赖具体 benchmark 的收益。

短请求账。每秒请求数提升 43% 至 85%,在按线性扩容、同 SLA 的假设下,所需卡量降到 69.9% 至 54.1%,即省 30.1% 至 45.9%。以一台 8 卡推理服务器年化 30 万元综合成本计,同等 QPS 每年可省 9.0 万至 13.8 万元。

吞吐账。HiSparse 的 58% 折算成卡量降到 63.3%,省 36.7%,但仅限 B200 搭配 GLM-5.3-NVFP4、长上下文全驻留这一个窄场景,别拿它当通用收益报进预算。

代价必须写进验收单

首字延迟变差 7% 至 11% 是硬代价。交互式客服、IDE 补全、实时语音这类以首字为体验命门的业务,升级前应把 TTFT 预算定成硬阈值,例如 P95 不高于 800 毫秒,压不住的业务线继续留在上一档精度。4bit KV 的精度损失也不该照抄别人的跑分:必须用自己线上的模型、中文语料、真实上下文长度做对照,重点看长文档摘要与结构化抽取两类任务,这两类对 KV 精度最敏感。

升级前先扫五行破坏性变更

这一版同时删了几样东西,自建环境最容易被卡住:Python 3.10 支持被移除;cascade attention 被移除;mamba_cache_mode 的 all 模式被移除;max_tokens 不再从上下文窗口里预留;默认 CORS 不再放开所有来源。存量部署只要命中一项,就先把测试环境跑通配置迁移,再动生产。另外 814 次提交的体量本身就是风险,别跳过自己那套模型、卡型、精度的联合验证。

一句话判断:高并发、短请求、主力跑 GLM-5.x 或 MiniMax-M3 系列的团队,这一版值得作为新基线;低并发长文档、又卡在 Python 3.10 或 cascade attention 上的团队,先把迁移单独立项,别和显存优化捆在一起上线。厂商基准是选型参考,不是验收标准。

来源:vLLM 官方 v0.32.0 发布说明(GitHub)与 vllm.ai 官方博客,2026 年 10 月 18 日;文中百分比均为官方自报基准,未做第三方复测。