501B 的容量、23B 的速度:Beam 私有化要 353GB 显存起步,Dell 验证配置把门槛压到 4 张卡

行业新闻 · 丁香 · 发布 2026-10-23 · 阅读 40

显存账先于算力账:501B 不是"能不能跑",是"能不能装"

Beam 是 Reflection 在 10 月 16 日放出的开放权重模型:501.3B 总参数,每个 token 只激活 23.4B,1M 上下文,Apache 2.0 许可。对私有化团队来说,先要算清的不是跑分而是显存——256 个专家全部常驻显存,速度却按 23B 走。第三方 vLLM 部署配方给出的三档硬指标是:NVFP4 权重落盘 294GB、最低 GPU 显存 353GB;FP8 落盘 503GB、最低 604GB;BF16 落盘 1,003GB、最低 1,204GB。这里的"最低显存"口径是权重加 20% 余量(激活、CUDA graphs、可用 KV cache),不是随手写下的建议值。

换算成卡数更直观。NVFP4 在 TP4 下每卡约承担 73GB 权重,于是一台 4 卡 B200(180GB/卡)或 4 卡 B300(288GB/卡)刚好起步,8 卡节点还能并排跑两个副本;若手里是 80GB 的 H100,只有 8 卡 TP8 走 Marlin 路径才装得下。FP8 要 8 张 H200(141GB),BF16 要 8 张 B200/B300。单卡或双卡工作站这条路线,在 500B 级开放权重上已经不存在——这与上周把 74B Agent 压进 24GB 的量化路线,是两种完全不同的采购决策:前者买的是机房和机柜位,后者买的是工位。

Dell 的验证方案,卖的是"敢不敢上线"

10 月 21 日 GTC 柏林,Dell 与 Reflection 发布首个验证方案:在 Dell AI Factory(PowerEdge 计算、PowerSwitch 网络、PowerScale 存储,加全生命周期服务)上用 Dell Enterprise Hub 的现成容器跑 Beam,权重与数据都留在企业自有环境里。厂商口径是 Beam 在高级推理榜上与主流开放模型持平,而推理算力只用对方的三分之一到四分之一(原文 3–4× less inference compute,厂商自报,无第三方复测)。

对采购方,验证配置的价值不在分数,而在于把"装好机却起不来"的坑提前钉进验收清单。vLLM 配方里写得很直白:首次启动要做 FlashInfer 的 MoE 内核自动调优,耗时接近 10 分钟,而引擎默认就绪超时只有 600 秒,所以部署命令必须显式设置 VLLM_ENGINE_READY_TIMEOUT_S=3600。一次调优超时,在项目现场就是半天的联调工时。

1M 是模型能力,262K 是端点现状

模型卡写 1M,vLLM 配方支持 1,048,576 tokens;但 Reflection 官方给出的"开发与评估"参考配置是单机 4 张 B300、NVFP4 权重加 DFlash2 草稿模型,可接受上限 262,144 tokens、8 路并发。真正的上限由 KV cache 决定,而不是由模型卡决定。采购合同里要按端点实际暴露的上下文长度验收,这一条比参数表上的 1M 更能反映账单。

同理还有分数口径:SWE-bench Verified 在 Reflection 发布博客上是 80.9,模型卡上是 81.6,同一家自己的两份材料差 0.7 分,且都由厂商自报、未经第三方复测。私有化项目的验收线只能自己画:拿三十到五十条真实工单,在自己的卡上跑一遍,再决定要不要把权限交出去。

自建还是调 API:先算回本线

第三方路由上已有四家同时在托管 Beam,报价从每百万 tokens 输入 0.25 美元、输出 1.00 美元起(单源报价,未复测)。按这个价,每月 1 亿输入加 2,000 万输出约 45 美元;要摊平一台 4 卡 B300 机器的采购与三年折旧,月调用量还得再往上翻两个数量级。判断因此很朴素:数据不出域、要微调、要长上下文高并发,才自建;否则先用 API 把业务跑通,再谈买卡。

Beam 真正被 NVFP4 省掉的,是机房面积、功耗与折旧,而不是"能不能上线"的门槛。对做私有化的团队,这代开放权重的选型顺序已经变成:先按总参数定显存档位,再按激活参数定并发,最后才是比每卡单价。

来源:Reflection 模型卡与发布博客、Hugging Face 官方博客、vLLM Recipes、Dell 官方博客、9to5AI 报道(2026-10-16 至 10-21)。