753B 开源旗舰落到四款国产芯片:FlagOS 双插件,GLM-5.2 自建部署要留三笔验收
753B 旗舰落到四款国产芯片上
智谱开源旗舰 GLM-5.2(MoE,总参数约 753B、激活约 40B,MIT 协议、无地域限制)主打长程任务:稳定可用的 1M 上下文,以及新架构 IndexShare——每四个稀疏注意力层之间复用同一个索引器,在 1M 上下文长度下把每 token 的 FLOPs 降低 2.9 倍;MTP 推测解码把接受长度最多再提 20%(厂商自报,智谱模型卡与社区文档一致)。真正让自建机房团队兴奋的,是智源众智 FlagOS 社区在发布当天就完成了跨芯片适配:摩尔线程 S5000、平头哥 810E、沐曦 C550、海光 DCU BW1000 四款非英伟达芯片全部覆盖,模型文件与部署镜像同步挂在魔搭和 HuggingFace。

双插件:不改框架一行代码
GLM-5.2 官方推理方案是 vLLM 与 SGLang,但这两个框架在非英伟达芯片上依赖 cuBLAS、NCCL 等专属组件,直接跑不起来。FlagOS 的解法是两个「零侵入」插件:vLLM-Plugin-FL 把 PyTorch ATen 算子替换为 FlagGems 的 Triton kernel(510+ 算子),融合算子层用「FlagGems 通用 kernel、芯片原生 kernel、PyTorch 参考实现」三级回退;SGLang-Plugin-FL 额外把分布式通信从 NCCL 注入到 FlagCX 跨芯抽象层。关键点在于:厂商只需实现一个 Backend 子类,同一套后端代码可同时被两个插件发现加载。摩尔线程镜像给出的生产配置是双节点 16 卡:TP8 × PP2、FP8 KV 缓存、triton 注意力后端、MCCL 跨节点通信,启动到就绪约 3 到 5 分钟。
底座是近期发布的 FlagOS 2.1,由智源联合十余家芯片与服务器厂商共建,四层架构:FlagGems 多领域算子库(510+ 算子、原生支持近 20 家芯片)→ FlagTree 跨芯编译器 → FlagCX 跨芯通信库 → 多框架插件体系。厂商自报的优化数据也不小:FlagGems-vLLM 已兼容 75 个 vLLM 融合算子,FP8 MatMul 比原生实现快 2.47 倍,Qwen3.6-27B Express 版本在沐曦上相对原生性能达 110%(社区口径)。对采购方来说,这意味着芯片厂与模型版本的「M×N」适配成本被社区压成「M+N」——新模型发布后,国产卡侧不用再等各家 SDK 逐个追平。
精度账:自建部署要留三笔验收
FlagOS 社区用 MuSR 生成任务做的对齐测试:英伟达原生 69.2 分,摩尔线程加 FlagOS 为 67.2 分,差距约 3 个点——注意这是社区实验室口径的厂商自报数据,官方声明「不代表智谱模型官方性能」,GPQA Diamond 一侧仍在评测。给国产算力选型三条验收线:其一,量化回归:FP8 KV 缓存下跑 GPQA Diamond 与 MuSR 双基线,卡死精度回退阈值;其二,长上下文压测:1M 上下文连续生成,看 IndexShare 稀疏注意力在国产 kernel 上的吞吐衰减;其三,多节点稳定性:MCCL 替代 NCCL 后做 72 小时长跑,盯通信超时与 OOM。一笔账算下来:753B 模型的 BF16 权重约 1.5TB,能跑它的国产多卡集群已经真实存在,私有化大模型从「能用 7B」升级到「能跑旗舰 MoE」的门槛,正在以软件栈成熟度而不是芯片纸面算力为分界线。
观察:当 MIT 协议遇上跨芯片插件化,「M×N」适配矩阵被降维成「M+N」——国产算力追赶的最短路径,可能不是造出更强的芯片,而是把软件栈做到 Day 0。
来源:智谱 zai-org 模型卡(HuggingFace)、FlagOS 社区 FlagRelease 模型卡、平芜编程栈 2026-10-31 报道