8 卡 H20 吞吐涨 43%:Humming 开源量化内核,私有化部署的卡时省三成

行业新闻 · 丁香 · 发布 2026-10-22 · 阅读 41

这次开源改的是哪一层

10 月 21 日,蚂蚁集团与 vLLM 社区联合开源 Humming——一个通用高性能的量化推理算子(kernel)库,仓库在 github.com/vllm-project/humming。它不训练模型,也不改模型结构,只做一件事:把 4 位、6 位、8 位这些低精度权重,在某一类具体显卡上算得更快。对准备私有化部署的团队来说,这类项目的分量常常比一个新模型更重——权重的账是一次性的,而 kernel 的账按每一次推理、每一张卡、每一天重复结算。

公开的实测数字(vLLM 社区自测口径)

官方公布的端到端测试是:8 张 H20、TP=8 跑 DeepSeek-V4.1-Flash,权重保持 MXFP4 不变,只把 MoE 执行后端从 Marlin W4A16(BF16 激活)换成 Humming W4A8(按 token 的 FP8 激活)。输出吞吐提升 14%–43%,平均首 token 延迟下降 25%–32%。并发 64 时,输出吞吐从 442.37 涨到 633.94 tokens/s,单 token 输出时间从 123.25 毫秒压到 85.70 毫秒,降幅约 31%。

kernel 层面的数字更激进:稠密 W4A16 在小 batch 下相对 cuBLAS 有 3–4 倍加速,H200 大 batch 约为 Marlin 的 2 倍,B300 部分场景 3 倍以上;MoE 的 Grouped 路径在 B300 上约 5 倍;W4A8-MXFP4 相对 DeepGEMM W8A8,H20 约 4.2 倍、H200 约 4.5 倍。以上都是社区自测,暂无第三方复现,做采购决策时按打折看更稳。

把这 43% 换算成机房账

对自建推理集群,吞吐涨 43.3% 的直接含义不是更快,而是同样的业务量只需要原来约 70% 的卡,也就是卡时省下大约 30%。若这批卡是租的,这就是月度账单的直降;若是已采购的存量卡,意味着扩容计划可以往后推一个季度。单 token 输出时间降 31% 换来的是另一种收益:同等并发下把长尾延迟拉回 SLA 线内,或者把单卡可承载的并发上限再抬一档。

更常被忽略的是编译成本。官方在 H200 配 CUDA 13.4 上测单个 W4A16 kernel:CUTLASS 走 NVCC 要 23.35 秒,Humming 是 1.82 秒(NVCC)与 1.88 秒(NVRTC);单层覆盖全部 M 尺寸的编译加载只要 2–4 秒。对一个要针对不同 batch 区间养多套 kernel 的生产集群,这决定了你能不能做按负载自动调优这种运维动作。安装包只有约 500KB,环境里有 PyTorch 2.7 就能跑。

国产算力这条线才是关键变量

公告里有一句容易被漏掉:除 NVIDIA 从 Turing(SM75)起的全部架构外,Humming 已完整支持平头哥真武 810E 这类 CUDA 兼容设备,后续计划扩到真武 M890。这条路径的部署价值在于,同一套量化格式与调优参数可以跨卡复用,换卡不必重写推理栈——对国产化替换来说,这比单卡峰值算力更能压住迁移风险。它同时已并进 vLLM 0.29.0 及之后的 CUDA 安装包,用两个后端参数切换即可,无需另部署独立组件。

给部署决策的三条判断

先算载荷再换后端。收益与并发强相关:并发 1 时吞吐增益只有 14.1%,到 64 才到 43.3%。低频、低并发的内部工具系统换后端收益有限,高并发在线服务才是主战场。

别指望它替代扩存。它优化的是同样显存算得更快,不是显存装得更多。671B 级 MoE(如 DeepSeek-V3 每 token 激活 37B)该占的显存照样要占,权重压缩仍取决于量化格式本身。

Blackwell 有隐藏红利,Rubin 没有。社区发现 Blackwell Tensor Core 原生支持 float4e0m3 与 float8e3m4 两个未在 PTX 类型系统暴露的格式,Humming 已在 SM100/SM103/SM120/SM121 全覆盖;但 Rubin 不支持这两个格式,规划下一代卡时要重做精度与性能验证,不能把这次的调优参数直接平移。

来源:vLLM 官方博客 2026-10-21(社区自测数据)、github.com/vllm-project/humming、PANews 报道。