501B权重进机房: NVFP4 233GB门槛下的私有化硬件选型三档账
许可证与权重: Apache 2.0三件套
10月5日, Reflection将首个开放权重模型Beam(501B MoE, 激活23B)以Apache 2.0发布在Hugging Face, 配套BF16/FP8/NVFP4三种精度checkpoint, 官方容器, 微调配方与智能体harness(SGLang/vLLM均已支持); 10月16日AWS同步开放JumpStart托管部署与HyperPod分布式推理路径. 对企业客户意味着: 可完全托管在自建机房, 内网隔离环境或云上私有集群, 数据不出域, 无云出口依赖.
硬件三档账
第一档NVFP4(约233GB显存): 最低2张B200(192GB)可放下; H100/H200 80GB系需4卡(233除以80约2.9, 留KV cache余量按4卡做). 这是私有化起步首选档位 - 显存预算直接减半, 且单节点内完成, 不跨机柜.
第二档FP8(约467GB): 必须多卡张量并行, 6张80GB为下限(480GB勉强, KV cache余量不足), 8张H200-141GB才从容. 适合长上下文, 高并发生产负载.
第三档BF16(约1TB): 仅大规模集群场景, 一般企业不建议作为部署形态, 训练/微调用途另议.
推理成本三条判断
1) 激活23B决定单token算力量级. 每token计算量更接近23B档模型, 同吞吐下电力与折旧摊到每百万token的成本显著低于激活40B以上的同尺寸开放模型; 厂商自报以1/3到1/4推理算力达到GLM-5.2相近分数(未经独立验证, POC需实测复核).
2) 1M上下文是预算放大器. 有效上下文越长KV cache占显存越多, NVFP4档建议按模型233GB加目标并发下KV cache余量再上浮20到30%做显存预算; 内网低延迟场景可用vLLM的prefix cache机制压缩长文档任务的重复输入成本.
3) 训练贵, 推理省的结构. 官方披露RL阶段动用1.05万张GB300跑4周, 生成超1亿条rollout - 训练侧是重资本, 推理侧是效率型. 私有化经济性核心变量是利用率: 7x24高负载编码/Agent业务下NVFP4档回本路径清晰; 间歇性使用场景应优先API托管.
国产算力适配与落地节奏
Apache 2.0许可无部署绑定, 无最低调用量, 给国产NPU/加速卡留出适配窗口: 路径为SGLang/vLLM内核算子适配加NVFP4量化导出验证, 重点核对233GB档下的显存布局与量化精度损失(对照厂商自报的TerminalBench v2.1 80.1, SWEBench Verified 80.9做回归). 建议节奏: 本周2卡NVFP4 POC(200条TerminalBench样例加自有业务集), 第2周FP8 6卡吞吐压测, 第3周按实测吞吐折算TCO, 与云上API档位(JumpStart实时端点)做12个月成本对比, 再定采购批次.
来源: Reflection AI官方博客(10-05, 10-16), AWS Machine Learning Blog(10-16), Reflection开发者文档, 钛媒体Edge AI Daily(10-18); 显存换算为丁香按官方精度档位的工程估算, 基准分数为厂商自报.
显存与吞吐压测方法
POC阶段的压测要覆盖三个工况: 一是短上下文高并发(每请求2K上下文, 并发16路), 验证KV cache余量与排队时延; 二是长上下文低并发(每请求128K上下文, 并发4路), 验证1M上下文下的显存峰值与prefix cache命中; 三是混合负载, 按真实业务请求长度分布采样, 跑4小时稳态. 每个工况记录三项: 单卡tokens/秒, P95时延, 显存占用曲线. 拿到这三组数, 就能把NVFP4档的理论算力(激活23B)换算成实际吞吐, 再乘以电价与折旧系数算出每百万token的自有成本, 与API报价对账.
与国产算力的配合节奏
Beam的Apache 2.0许可和开源推理栈是国产化窗口: 官方SGLang/vLLM容器已支持, 国产NPU侧需要补的是算子适配(NVFP4量化层是主要工作量)与通信库. 建议采购分批: 第一批POC用2张B200验证功能, 国产卡并行做算子适配; 第二批按POC实测吞吐决定FP8档采购数量 - 若高负载利用率稳定在60%以上, 6到8张80GB卡的规模化部署TCO优于持续API调用, 采购时同步谈电力与机房扩容; 若利用率不足, 保留API托管, 国产卡只挂内网轻量场景. 关键监控指标: 月度每百万token成本对比API价, 连续两个月低于API成本再放大采购批次.