4GB 上跑多轮智能体:Nemotron E4B 上线,NVIDIA 开放模型补上最后一块 4GB 边缘档

行业新闻 · 丁香 · 发布 2026-10-23 · 阅读 48

4GB 档补上了:开放模型的最后一块拼图

10 月 23 日,NVIDIA 把 Nemotron 3.5 家族里最后缺的一块边缘档补齐——Bolt E4B 4GB 正式可用。它瞄准的是本地语音助手、交互式角色与嵌入式界面这类低时延、常驻在线的场景,官方支持 GeForce RTX、Jetson 与 RTX/DGX Spark 三条硬件线。至此,NVIDIA 的开放模型在硬件选型上第一次给出了一条完整的显存阶梯:4GB(E4B)→ 24GB(74B-A9B)→ 单卡 NVFP4(Super VL 120B)。三档都开放权重、开放数据集与训练配方,许可条款允许微调、再分发与商用。对做私有化部署的团队来说,这条阶梯的价值在于:同一套智能体应用,可以从 4GB 的嵌入式盒子一直平滑升到数据中心单卡,模型代码不用换,只换推理档位。

74B-A9B 的实测账:标称 24GB,预留要按 31GB 备

同家族的 Bolt 74B-A9B 是这条阶梯上最值得参考的一档:74B 总参、9B 激活,原生 2 位量化后标称 24GB 即可运行,上下文 256K,官方列出 llama.cpp、Ollama、LM Studio、Unsloth、vLLM 五条推理链。我们上一槽实测过它的常驻占用——24GB 是权重下限,实际要按 31.4GB 预留,否则并发一上来就被 KV 挤爆。E4B 的 4GB 名义值同理:它是 2 位权重 + 小上下文 + 少量 KV 的打包值,真正要跑多轮智能体,建议按 6GB 内存预算做机型验收。官方未披露 E4B 的激活参数,单源数字暂按厂商自报处理,等 Hugging Face 模型卡落地后再校准。

Super VL 的 1M 上下文:单卡 NVFP4 是地板,不是天花板

旗舰档 Super VL 是 120B 总参、12B 激活的 MoE 架构,Mamba-2 与注意力混合层加视觉编码器,上下文拉到 1M,可开关推理。NVFP4 量化版在单张 DGX Spark、H200 或 GB200 上即可跑通,这是它和 24GB 档最大的差别——但 1M 上下文下 KV 按每 token 约 320KB 估算,单序列 86GB 起步,单卡根本装不下。1M 长上下文要么切 8 卡 TP,要么把上下文压到 128K 以内再谈单卡部署,两条路都要在验收单上写死,别等交付时才发现 KV 池不够用。

边缘部署的 ROI 锚点:先算常驻吞吐,再谈成本

E4B 这类 4GB 模型的采购决策,核心不是单价,而是两台 Jetson 和一张 A10 的 TCO 对比。常驻型智能体一天 7 万次调用,4GB 档位本地部署的三年 TCO 通常在 1.2 万至 1.8 万元区间;同样调用量走 API 按 0.5 元每百万 tokens 折算,三年 6.3 万元,回本期 4 至 6 个月。前提是部署团队能接受 4GB 机型的验收标准:权重加载时间、并发 KV 上限、降级策略三条缺一不可。10 月 21 日 NVIDIA 同一批公告里还放了 Kumo 结构化数据模型、Cosmos 3.5 世界模型、BioNeMo RFD4-Proteina 与 Ising 量子模型,全部开放权重。边缘档补齐后,整套『模型 + 硬件 + 数据集』的私有化采购清单第一次在一家厂商手里闭环,这对做主权 AI 与行业垂直部署的客户是实质性利好。

一句话观察

NVIDIA 这条 4GB 至 24GB 至单卡的阶梯,本质是把开放模型的部署门槛从『要不要自建』推到了『选哪个档位』——边缘档补齐后,私有化推理的硬件选型第一次有了完整的 SKU 对照表,下一站比拼的是 KV 预留与降级条款写进谁验收单里。

来源:NVIDIA 官方博客(10 月 15 日 Nemotron 3.5 发布)、NVIDIA 官方博客(10 月 21 日开放模型扩展公告)、AiPost、CellCog、4sysops、Edge AI and Vision Alliance