标称 24GB、实测常驻 31.4GB:2 位量化把 74B Agent 塞进工作站,钱却花在折旧上

行业新闻 · 丁香 · 发布 2026-10-22 · 阅读 42

一、不是从头训小模型,是把 120B 直接压成 2 位

英伟达 10 月 15 日放出 Nemotron 3.5 Bolt 74B-A9B 24GB,开放权重,采用允许商用的 OpenMDW-1.1 许可。它的父模型是同批发布的 Nemotron 3.5 Super VL(1200 亿总参数 / 每 token 激活 120 亿)。压缩不走常规路线:先用内部的路由器引导架构搜索框架 Star Elastic,按「部署占用低于 24GB」这个预算去选每层专家数量与中间层宽度,每 token 顶路由专家数从父模型的 22 个收到 9 个,最终落到 740 亿总参数、90 亿激活参数;上下文 256K。

量化更关键——不是事后拿 GGUF 外部压一遍。路由与共享专家的 FC1、FC2 层用 IQ2_XXS,合 2.0625 位每元素;Mamba 线性层用 NVFP4;embedding、lm_head、attention 与 Latent MoE 权重保住 Q8_0。压完再用量化感知蒸馏(QAD)把精度找回来。英伟达自己的结论是:同样的内存预算下,把大模型压到 1 到 2 位,比从头训一个小模型再压到 4 位更划算。

二、24GB 是权重预算,不是运行预算

打开分发包量一下:GGUF 主体 20.51 GiB、视觉 mmproj 1.61 GiB、投机解码草稿 LiLiCorr 0.93 GiB;张量级看,IQ2_XXS 共 160 个张量占 16.30 GiB,NVFP4 占 2.30 GiB,Q8_0 占 1.68 GiB,F32 占 0.22 GiB。20.5 GiB 里有 16.3 GiB 是 2 位专家,这就是「74B 塞进 24GB」的全部秘密。

但官方口径是 batch=1、128K 上下文下常驻 24GB 以内,只含权重、2 位专家激活与 16 位 Mamba 状态。独立实测在 128GB DGX Spark 上按官方 32GB 配方、把上下文拉到 262,144 运行,常驻内存 31.4 GiB(不带投机解码 27.9 GiB),可用内存从 39.6 GiB 掉到 8.2 GiB。想开满上下文,就要多买那 8GB。

采购含义很直接:24GB 卡(3090/4090 这一档)不是跑不动,而是必须把上下文压回 128K,还得关掉其他吃显存的程序——Windows 桌面管理器、浏览器、多屏在 24GB 卡上就能吃掉 1 到 2.5GB。要跑满 256K,32GB 级(RTX 5090 或官方 RTX Spark 32GB 配方)才是实际门槛。

三、速度账:官方 ≥80 TPS,实测单请求 61.61

官方目标是 batch=1 至少 80 TPS,AIPerf SPEED-Bench-Coding 实测 83.99 TPS(厂商自报)。同一张表里 Qwen3.6 35B-A3B 是 96.63、Gemma 4 26B-A4B 是 100.56,Bolt 这一项落后 13% 到 16%;真实 Agent 轨迹回放(AA AgentPerf Local)耗时 600.80 秒,比 Qwen3.6 的 453.97 秒慢约 32%,同样是厂商自报。用 2 位换显存,速度上是要付代价的。

第三方在 llama.cpp 上的复测更贴地:不投机解码 39.47 tok/s,挂上 LiLiCorr 草稿后 61.61 tok/s,1.56 倍;同一台机器换 vLLM 无投机解码 31.46 tok/s,比 llama.cpp 低约 20%。并发才是硬约束:8 并发总吞吐 102.45 tok/s,单请求掉到 13.26 tok/s,只有单请求的三分之一。一台机器服务 8 个人是吞吐账,不是体验账。

四、成本账:电费只占 6%,九成是折旧

按 8 并发满载 102.45 tok/s、整机功耗 350W 假设、工业电价 0.7 元每度测算:每 token 约 3.4 焦耳,每百万 tokens 耗电 0.95 度,电费 0.66 元。硬件锚点取 4999 美元的 64GB DGX Spark(约 3.55 万元),3 年折旧、每天满载 8 小时可跑出约 8900 万 tokens/月,折旧摊到 11.14 元/百万 tokens;每天只跑 2 小时,月吞吐降到 2200 万 tokens,折旧变成 44.55 元,是前者的 4 倍。折旧拉到 5 年则压到 6.68 元。

所以本地部署省钱的变量是利用率,不是电价:电费占比不到 6%,日均满载不到 2 小时,折旧口径就足以让自建比调 API 更贵。这条结论对所有 24GB 级本地 Agent 都成立,跟具体是哪家模型无关。

五、明天 4GB 版铺到边缘,两档之间没有中间型号

Bolt E4B 定档 10 月 23 日,4GB 占用,面向 GeForce RTX、Jetson、RTX Spark 上的对话与物理 Agent;24GB 版则盯 RTX 笔记本、RTX 5090 与 DGX Spark。中间档缺席,意味着选型只有两个答案。主流消费显卡仍在 8GB、12GB、16GB 显存,24GB 属于少数派,因此 4GB 版的真实意义是把语音助手、嵌入式界面这类短会话铺到边缘盒子,而不是把 74B 硬塞进 8GB 卡。

三条采购判断:先把上下文长度与并发数写进需求单,再倒推显存档位;24GB 机型按 128K 上下文报价,256K 要按 32GB 级报价;日均满载低于 2 小时,直接买 API,别买机器。

来源:NVIDIA Nemotron 3.5 Bolt 技术报告与官方博客(2026-10-15)、DevelopersIO 在 DGX Spark 的 llama.cpp 实测。官方吞吐与回放时长为厂商自报;整机功耗 350W、电价 0.7 元每度为本文测算假设。