标称单卡 80GB、Q4 实算 85.2GB:122B 的 Ornith-1.5 把私有化选型卡在 96GB 这道坎
一、122B 的 MoE,MIT 许可,把「单卡」写进了模型卡
Ornith 团队 10 月 20 日公开发布 Ornith-1.5-122B,Hugging Face 仓库 10 月 16 日就已建好,权重按 MIT 许可证放出。家族里还有 9B、35B-A3B 与 397B 三个兄弟,122B 是中间档,官方定位写得很直白:面向单卡高效部署的 122B MoE。架构上它与 Qwen3.5 122B-A10B 的 config 逐字段对齐:256 个专家、每 token 路由 8 个,48 层里 12 层全注意力加 36 层线性注意力(Gated DeltaNet),原生上下文 262,144 token,YaRN 4.0 缩放后可到约 100 万。
二、模型卡说一张 80GB 卡够用,第三方把账算细后多出 5.2GB
模型卡原话是「MOE 122B,因此可在单张 80GB GPU 上服务」。第三方算器给出了更细的三行数:官方 GGUF 仓库里 Q4_K_M 权重 75.84GB,加上 8K 会话的 0.2GB KV 与 0.8GB 运行时开销,合计 76.84GB(另一家算器口径 76.8GB),看着正好压在 80GB 之下;但把激活开销与上下文一并计入,总量到 85.2GB,比 80GB 卡多出 5.2GB。于是档位被迫下移:80GB 卡只能退到 Q3 档(社区 UD-Q3_K_XL 59.76GB,折合总占用 67.3GB,余量 12.7GB);96GB 卡能装 Q4_K_M 的短上下文,却装不下 262K 全窗口(92.2GB);Q4_K_M 配长上下文的舒适落点是 128GB 统一内存,或者两张卡做张量并行。
三、反常识的一项:满上下文只加 6.4GB KV
常规全注意力模型里,128K 以上的 KV Cache 常常比权重还难伺候。这台不一样:48 层里只有 12 层保留会长大的 KV,其余 36 层线性注意力是常数状态,所以把 262,144 token 的窗口全打开,KV 只增加约 6.4GB。这意味着成本重心从「上下文」整体挪到了「权重量化档位」:做长上下文代码库检索时,最先撞墙的不是 KV 缓存,而是权重能不能压进这张卡。
四、四个档位的采购对照
BF16:官方 GGUF 249.36GB,是 Q4 的 3.29 倍,单机基本无解,得四卡以上;FP8:132.9GB,是 Q4 的 1.75 倍,一张 141GB 卡能进,但长窗口要掐着用;Q8_0 132.6GB、Q6_K 102.4GB、Q5_K_M 88.7GB、Q4_K_M 75.84GB、社区 UD-Q3_K_XL 59.76GB,一档一档就是一张卡的钱。Ollama 上 ornith-1.5:122b 标注 73 到 77GB,q4_K_M 为 77GB;MLX 4bit 68.7GB 则让 128GB 统一内存的 Mac Studio 成为一条不进机房的路子。
五、把这笔账接到 ROI 上
自建的门槛从来不是模型,而是卡型档位:一张 80GB 单卡(Q3、短上下文)与一张 96GB 卡(Q4、短上下文)之间,差的是能不能在真实仓库上跑满 26 万 token 的上下文。落地建议按任务分层:PR 审阅、函数级补全压在 Q3 单卡,跨文件重构与长链路 Agent 放到 Q4 长上下文档,两边共用一套权重与一套 OpenAI 兼容端点,切换只改量化文件,不改调用代码。基准侧,Ornith 自报 SWE-bench Verified 84.5、SWE-bench Pro 76.9、TerminalBench 2.1 的 81.2、MCP-Atlas 74.6;同为 125B 量级的 Qwen3.8-Flash-Next 分别是 82.8、43.9、83.4、74.1——SWE-bench Pro 领先 33 分,TerminalBench 反落后 2.2 分,说明它强在「把代码改对」,而不是「在终端里跑通整条流程」,选型时按任务形态对号入座。
六、两个必须写进验收清单的空白
一是激活参数官方未披露,第三方按同 config 的 Qwen3.5 122B-A10B 推算为 10B,属推算而非官方口径,它直接决定单卡并发吞吐的估算;二是上述基准全部由厂商在 OpenHands 框架下自跑,尚无独立复核,采购前应当用自家仓库做一轮对照测试。许可虽为 MIT,权重链路来自 Gemma 4 与 Qwen 3.5 的后训练,上游条款仍值得逐条核对。对想把编码 Agent 关在机房里的团队,Ornith-1.5-122B 是目前少见的一条「128GB 级硬件加 MIT」的组合,但它的真实起点更接近一张 96GB 卡,而不是模型卡上那句单卡 80GB。
来源:Ornith AI 模型卡与技术公告、Hugging Face 官方 GGUF 权重仓库、CanItRun 与 localLLMrig 显存测算、Ollama 模型库(2026-10-20 至 10-25)。