混元 Hy3 正式开源:295B 总参、21B 激活、Apache 2.0 免商业授权,8 卡起跑的显存账怎么算

行业新闻 · 丁香 · 发布 2026-10-23 · 阅读 41

许可先行:Apache 2.0 比「开放权重」多给了一层

10 月 23 日,腾讯混元团队正式开源 Hy3 与 Hy3-FP8 权重,同步上架 Hugging Face、ModelScope、GitCode 与 CNB,许可为 Apache 2.0,明确允许免费商用、托管与微调。官方口径是:相比此前的预览版,智能体与编码能力提升约 30%。

对采购和法务来说,分量不在参数量而在条款:Apache 2.0 既没有月活用户门槛,也没有「营收超过某条线需另行授权」的附加条件。对照同为国产开放权重的 MiniMax M3.1 Flash,其社区许可设了 2000 万美元营收门槛——中大型企业选型时,这一条往往直接决定能不能进私有化机房。但要留档:权重仓库 commit hash、license 原文、下载日期三件套必须进资产台账,否则日后审计说不清用的是哪一版权重、哪一版条款。

显存账:590GB 是权重,86GB 才是长上下文的坑

先看架构:295B 总参数、每 token 激活 21B、3.8B MTP 层、80 层、192 专家 top-8 路由、64 个注意力头配 8 个 KV 头、头维 128、上下文 256K。稀疏度做得很高,绝大部分参数在单次前向里并不参与计算。

按字节口径推算:BF16 权重约 590GB(295B×2B),官方另发的 Hy3-FP8 权重约 295GB;若按官方建议的 8 卡 TP=8 切开,每卡负担 74GB 与 37GB。看起来 8 张 141GB 的卡合计 1128GB 很宽裕,但真正吃显存的是 KV 缓存:按架构推算,每 token 的 KV 量为 80 层 × 8 个 KV 头 × 128 维 × 2(K 与 V)=163,840 个值,BF16 下约 320KB/token。上下文打满 256K 时,单序列就要约 86GB(FP8 KV 约 43GB)。

所以部署顺序应该反过来:先定 max-model-len,再算卡。32K 档 KV 约 10.7GB/序列,还能留给并发;64K 档 21.5GB;真要跑到 256K,单序列就等于吃掉 8 卡整机显存的近 8%,并发只能压到个位数。想要长上下文又要并发,就得换更大显存的卡,或用 FP8 KV 并把批处理拆细。

落地配方与验收清单

官方给了两套现成配方:vLLM 用 --tensor-parallel-size 8 加 MTP 投机解码(每步 2 个投机 token)与工具调用解析器;SGLang 用 tp-size 8 配 EAGLE 投机。腾讯建议 8 卡起步,卡型如 H20-3e 或更大显存卡;压缩方向另有 AngelSlim 工具链支持量化与低比特。验收建议盯六条:权重完整性与 commit 留档、BF16 与 FP8 两套口径分开压测、max-model-len 与 KV 预算对齐、MTP 投机实际命中率、工具调用解析器与自家智能体框架的兼容性、p95 首 token 时延。

选型判断:用一半参数换 6 到 18 分

厂商自报分数里,Hy3 在 SWE-Bench Verified 拿 78.0、Terminal-Bench 2.1 拿 71.7、SWE-Bench Multilingual 75.8、DeepSWE 28.0、GPQA Diamond 90.4;对照 GLM-5.2(约 744B 总参数 / 40B 激活)的 84.2、81.0、83.0、46.2,编码上确实低一档,但总参数不到一半、激活参数只多出一截。生产可靠性上的自报数据同样值得记:幻觉率 12.5% 降到 5.4%,常识错误 25.4% 降到 12.7%,多轮意图追踪问题率 17.4% 降到 7.9%,长对话检索 MRCR 从 42.9% 提到 75.1%。

由此给一个可执行的分层:单文件修错、CI 报错定位、文档与合同抽取这类中等复杂度智能体任务,用 Hy3 自托管顶掉;跨十余个文件的复杂重构与深度调试,仍走 GLM-5.2 或旗舰闭源 API,前面加一层按任务复杂度分流的网关。这样既压住单位成本,又不拿工程质量冒险。

自建回本线:摊薄到每百万 token 才算账

算法很简单:把 8 卡整机的年综合成本(卡租或折旧、电、运维)除以年 token 产出,得到摊薄单价,再和聚合平台报价比。按 100 万元年成本假设测算,年产出 60 亿 token 摊薄约 167 元/百万,120 亿约 83 元/百万,200 亿约 50 元/百万。换言之,年调用量上不了百亿 token 量级,自建在纯成本上很难赢过托管 API;真正让自建成立的,是数据不出域、需要私有微调,以及许可条款可长期锁定这三件事。

我的观察:这次开源的信号意义大于跑分意义——把 295B 级智能体模型放进 Apache 2.0,等于先把「能不能合法进内网」这道关撤掉,剩下的是每个团队自己算显存和摊薄。先跑 32K 档压测,比一上来冲 256K 更接近真实生产形态。

来源:腾讯混元 Hy3 官方模型卡与开源公告、上海有色网 SMM、The TechBriefs 技术解读(2026 年 10 月 23 日);跑分与可靠性数据为厂商自报,显存与 KV 为按公开架构推算。