320B 总参、15B 激活、512K 上下文:IQuest-Q1 开源,私有化门槛是 8 张 141GB 卡

行业新闻 · 丁香 · 发布 2026-10-24 · 阅读 40

一、这次开源的是什么

10 月 23 日,IQuest 发布并开源了面向命令行智能体的基础模型 IQuest-Q1,权重与模型卡已经公开。按模型卡与论文给出的口径:总参数 320B、每 token 激活约 15B,MoE 结构 88 层、256 个专家每次路由 8 个,隐藏维 3072,KV 头 8 个、头维 128,上下文窗口 524,288(即 512K)。训练走预训练、中训练、后训练三段,累计约 29 万亿 token,中训练阶段把上下文逐步拉长到 512K。这些数字里最容易被跳过的是注意力结构:它是 3 层滑动窗口(窗口 4096)加 1 层全注意力交替,这条设计直接决定了后面那笔显存账怎么算。

二、先算权重:640GB 是硬底

320B 参数按 BF16 存放,权重就是 640GB。官方给出的 SGLang 生产配方是单节点 8 卡、TP=8、dtype bfloat16、fa3 注意力后端、mem-fraction-static 0.85,同时也支持 vLLM。也就是说,每张卡至少要装下 80GB 权重;再按 0.85 的静态显存占比,一张 141GB 的卡实际可用约 120GB,8 张合计约 958GB,扣掉权重还剩 318GB 给 KV 缓存。换成 96GB 的卡看一遍:8 张静态可用约 652GB,扣掉权重只剩 12.8GB——模型起得来,并发几乎没有余量。这就是为什么能不能跑和能不能卖是两个问题。

三、KV 缓存才是那张隐藏账单

按 8 个 KV 头、头维 128、BF16 计算,每个全注意力层每 token 的 KV 是 4KB;88 层里全注意力层只有 22 层,其余 66 层被滑动窗口锁在 4096 token 以内。于是每 token 的线性增长部分约 88KB,滑动窗口部分则是每序列固定约 1.1GB。落到真实请求上:32K 上下文一条约 4.1GB,128K 约 12.9GB,512K 一条直接吃掉 48.4GB。用 318GB 的 KV 池反推并发:32K 约 78 条、128K 约 24 条、512K 只够 6 条。不少团队按短请求做的容量预算,一上长程智能体就被打穿,根因就在这 88KB。

四、卡型选择取决于上下文分布,不是参数量

把上面两笔账合起来,采购结论是按场景分叉的:常规代码补全、短对话,平均上下文 8K 到 32K,96GB 级 8 卡机勉强跑到 3 条 32K 并发,得靠多副本加机头补负载;如果真要把 128K 至 512K 的长程任务放进生产,比如整仓代码审查、长时间命令行操作、多步骤工具调用,就必须上 141GB 级卡型,并按每 3 张卡养 1 条 512K 并发来估。这组数字与任何报价无关,只由模型结构和显存决定,先算清楚再谈价,才不会被 320B 级开源这类表述带偏预算。

五、榜单要连着口径一起读

厂商自报的成绩是:Terminal-Bench 2.1 为 83.2、SWE-Bench Pro 57.5、DeepSWE v1.1 为 64.6、GPQA Diamond 93.3、BrowseComp 85.5、CyberGym 84.5。同一张表里还有一个更该抄进验收单的细节:Terminal-Bench 3.0 只有 17.9、4.0 只有 22.7,而且 83.2 那个分数是按每任务 8 小时预算跑出来的,比多数生产环境的超时阈值宽松得多;训练侧宣称的 1.93 倍扩展效率(同损失只需约 52% 算力)也没有点名基线模型。此外官方提到三天实战部署中,安全专家借助该模型产出 30 份漏洞报告并做了独立复核,这对做代码智能体的团队比榜单更实用。

六、落地前的三条硬约束

第一,官方只给 BF16 配方,FP8 或 4bit 需要自己压测精度与吞吐,不要按量化后的显存报预算。第二,单机 TP=8 是官方路径,跨机多副本要先做互联与调度验收,再谈算力扩展。第三,权重 640GB 起,下载、镜像、灰度得按十小时级窗口排期。对已经在跑 Claude Code 或 Codex CLI 的团队,Q1 的价值不是再换一个模型,而是把命令行这一层的模型选择权变成可自持的资产——前提仍是先把上面三笔账算成数字。

来源:IQuest 模型卡与论文 arXiv 2610.30949、PR Newswire 发布稿、AI Weekly 技术解读。