120B 开放权重落到机房:Nemotron 3.5 Super VL 的私有化硬件账
120B 旗舰开放权重,先发给企业机房
英伟达把 Nemotron 3.5 家族里分量最重的一颗推给了企业:Super VL,120B 开放权重,定位持续运行的智能体。对私有化部署这条线来说,它最值钱的一句话不是参数表,而是开放权重配合自带数据后训练:把文档理解、财务对账、保险理赔、安全攻防这些场景的专属数据喂进去,模型和结果都留在自己的机房里,而不是租给别人的前沿模型。
官方口径里,Super VL 参数比上代 Nemotron 3 Ultra 更少,但指令遵循和工具调用精度打平;厂商还自报后训练后完成特定智能体任务的速度超过 Anthropic 与 OpenAI 的对应模型,采用的客户名单包括 Skydance、EY、Ramp、CrowdStrike、Perplexity、Salesforce——这部分数据是厂商自报,采信时留点余地。Super VL 与 Bolt 74B 现在就能拿到,E4B 要等本月稍晚,节奏上正好给私有化团队留出先搭架构、后补小模型的窗口。
硬件账:旗舰进机房,小模型进工位
这一家的硬件分层思路很清楚。Super VL 是 120B 稠密模型,FP16 权重约 240GB,落在私有集群上就是 4 到 8 张 80GB 级别 GPU 的档位,再给 KV 缓存和并发余量留一块,机柜电力与散热都得按生产集群配;如果吃 FP8 量化路线,权重压到 120GB 出头,两张 80GB 卡就能起步,但要盯着精度回测,别拿量化版当无损版用。而 Bolt 74B-A9B(24GB 版)与 Bolt E4B 瞄准 RTX Spark 芯片 AI PC 和 DGX Spark 工作站,由微软、戴尔等伙伴出货,属于工位级设备。同一套智能体架构,机房跑旗舰做重活,工位跑小模型做高频轻量任务,两层都能私有、都不出内网,合规边界清晰。
选型建议很直接:高频、低并发、延迟敏感的对话与工具调用,优先 Bolt 74B-A9B 放在 RTX Spark 或 DGX Spark 上,省掉集群调度与运维成本;多步骤重推理、必须吃自家数据做后训练的任务,才上 Super VL 集群,而且后训练本身要预留一份额外的训练卡时与数据工程人力,别把它当免费午餐。E4B 本月稍晚放出,等它补齐再定小模型档位不迟。
落到执行层的三点建议
第一,后训练别贪多。一次只圈一个业务域做后训练,先把文档理解这类高频场景跑通,验证吞吐与延迟达标后再扩到理赔、安全这类重任务,避免把算力预算一次性摊在五个场景上。第二,KV 缓存预算按 131K 上下文峰值的三分之一配置,日常多轮对话够用,跑长文档任务时再临时扩容,不必为峰值常备。第三,小模型档位先别锁死,E4B 放出后重新比一次推理速度与内存占用,如果它能把工位机的门槛再压一档,原来配 RTX Spark 的点位可以降配,采购单价直接省出一截。
两个要盯的变量
一是比闭源快的厂商自报结论,落地前用自己的业务数据复测一遍,别拿发布会数字做采购依据;二是英伟达一边开放模型、一边投资并供货前沿实验室的矛盾姿态——开放权重本质是锁住客户算力的手段,模型迭代节奏取决于它的战略耐心,私有化方案里最好保留模型可替换的工程余地,接口层按 OpenAI 兼容协议做,将来换模型不用动业务代码。
来源:technopolis.news、gate.com、tradersunion(转 TechCrunch);性能与采用者名单为厂商自报。