一张 A100 40G 装下 33B 稠密 Agent 模型:Nanbeige4.3-33B 的私有化显存账本

行业新闻 · 丁香 · 发布 2026-10-26 · 阅读 40

33B 稠密模型,一张工作站卡能装下

开源模型圈这两天在传一件事:Nanbeige LLM Lab 放出了 Nanbeige4.3-33B(Hugging Face,Apache 2.0 协议)。它是 33B 参数、Llama 架构的稠密模型,没有 MoE 那套"把专家放内存、按需上卡"的余地,每个 token 都要全量 33B 参数参与计算。官方定位是 Nanbeige4.3 系列的旗舰"教师模型",主打复杂编码与专业协作类 Agent 任务,上下文做到 512K(524,288 tokens),官方还预告了下一步往 3B 小模型蒸馏的路线。国内媒体 80aj 报道该模型出自 BOSS 直聘 LLM 团队,官方未单独确认归属。模型卡自带的对标表(厂商自报)里,它在约 30B 这一档多数项目领先:Terminal-Bench 2.1 得 80.9 分,对比 Qwen3.8-27B 的 73.0、Muse-Glimmer-30B 的 61.8、Gemma4-31B 的 47.2;SWE-Bench Pro 为 60.3,略低于 Qwen3.8-27B 的 61.7。社区里"比 Qwen 27B 强"的说法主要出自厂商自报表格,第三方复测还没跟上,选型时把它当参考、不当结论。

显存账本:三档量化决定三张硬件路线

全精度 BF16 权重约 66.24GB,这是它私有化部署的"满配"上限。但发布不到一天,Hugging Face 上的量化文件已经滚到 47 个版本。三条可落地的路线:

第一档,单卡 40G。社区用户 XTer123 发布的 Q5_K_M 量化(23.5GB)在单张 A100 40G 上实测可用:262K 上下文、q4_0 的 KV 缓存、单 slot,正常出字;80aj 报道称整个量化制作在 Colab 的 A100 上只用了约两小时。

第二档,消费级 12G。DogukanUrker 的 IQ2_XXS 量化(约 10.1GB)在单张 RTX 3060 12G 上能全量上 GPU、跑 24K 上下文;如果一半切到 CPU,速度掉到每秒约 4 个 token。2bit 基本是这类模型的地板:另一家量化仓库的实测显示,4bit 以下该模型 top-1 下一词一致率就跌到 85% 以下。

第三档,80G 服务级。Q8_0 量化 35.2GB,单卡 A100 80G 或双卡 40G 都放得下,还能留出 KV 缓存空间给多路并发,适合当 Agent 服务跑,而不是个人玩具。

这个模型对量化格外"娇气"

AtomicChat 量化团队用同一套基准(24 段 × 4096 token 的中立多语文本)量出两个值得记下的数字:普通 Q6_K 的 top-1 只有 95.5%,而大多数模型在 6bit 能到 98%;普通 Q4_K_M 更是跌到 89.9%。他们按重要性矩阵做的混精"AD"系列把差距拉回来了:20.3GB 的 AD-IQ4_XS 相对原始权重的 KL 散度,比同体积的标准 Q4_K_M(20.1GB)低约三分之一。选型建议写进采购单:稠密模型选量化,别只看名字里的 bit 数,看"同体积下的散度"和"有没有配重要性矩阵";4 到 5bit 是这一档的甜蜜点,再低就掉能力了。

给采购侧一个实操参照:官方推荐了两套推理参数——推理/聊天用 0.6 温度、Agent 与工具调用用 1.0 温度,工具调用格式推荐 XML。接自家 Agent 框架前先确认解析层支持 XML 工具调用,别默认 JSON,这是这代模型常见的集成坑。

部署前多想两件事

一是稠密结构对本地部署是把双刃剑:33B 参数全部激活,同样显存下,12G 档硬件的出字速度会明显输给把专家放内存的同级 MoE 模型,个人日常使用选 33B 稠密偏激进,团队级小并发才划算。二是社区已经出现去除安全限制的 uncensored 量化版,作者自己在仓库里写明这是研究产物、不建议不加下游护栏直接给终端用户——私有化部署时加一层护栏,比出事后补救便宜。

来源:Hugging Face 官方模型卡(Nanbeige LLM Lab)、社区量化仓库(XTer123 / AtomicChat / DogukanUrker / Bartowski)、80aj 与 Linux.do 社区讨论;基准分数为厂商自报。