显存按 293B 备、算力按 30B 算:星火 X2.6 上私有化,8 卡 FP8 是起步档,1M 上下文先备 122GB
科大讯飞 10 月 22 日在全球 1024 开发者节发布星火 X2.6,293B-A30B 的 MoE 架构,上下文从上一代 256K 直接拉到 1M,并称训练与推理全流程都在全国产算力上完成。跑分之外,这条消息对做私有化交付的人更实在:它把国产卡能不能撑起旗舰模型自建,从判断题变成一道算术题,而这道题的第一项不是算力,是显存。
一、训推同栈,省的是交付现场的钱
常见做法是训练一套栈、推理搬另一套,代价是精度对齐、算子兼容、性能调优全部重做一遍,长链条 Agent 任务最容易在这种迁移环节冒出难以复现的问题。星火 X2.6 把训练与对外服务放在同一套国产栈上,私有化交付时模型侧与算力侧同源,验收口径统一。更关键的是供给侧:对政企、金融、能源这类必须过安审的客户,算力能不能持续买到,比峰值性能更决定项目能不能交付。
二、显存按 293B 备,算力按 30B 算
MoE 的账要算两遍。所有专家权重都得常驻显存,293B 一个字节都省不掉:按参数与位宽折算,BF16 约 546GB、FP8 约 273GB、INT4 约 136GB;而每次前向只激活 30B,单次算力开销接近一个 300 亿参数模型。这两条决定了两件事。
其一,8 张 80GB 卡跑 BF16 不够用。546GB 摊到 8 卡是每卡 68GB,只剩不到 12GB 留给 KV 缓存与激活,长上下文一来就顶到墙。要么用 FP8 落到每卡 34GB、留 46GB 给缓存,要么直接上 16 卡。
其二,端侧留了回退位。同步开源的 X2.6-4B 新增三档推理模式,4B 模型按 FP16 约 7.5GB、INT8 约 3.7GB、INT4 约 1.9GB,一张 8GB 消费卡或入门 NPU 就能接住。把高频简单判断压到端侧、复杂任务回云端,已是这一代国产模型的标配架构。
三、1M 上下文才是真门槛
上下文变长,KV 缓存就开始跟权重抢显存。按同规模 MoE 的常见口径估算(64 至 80 层、8 个 KV 头、head_dim 128、KV 用 FP8 存),单 token 约 128 至 160KB,一条 1M 序列要吃掉 122 至 153GB;32 路并发同时吃满需要 3.8 至 4.8TB,而 8 卡 FP8 部署剩下的缓存空间只有约 367GB。结论很直接:1M 是产品参数,不是默认部署形态。厂商给的两个效率数字也要按厂商自报读:长程任务动态并行让超长上下文训练效率提升约 4 倍,基于国产集群的四层 KVCache 与自适应存算协同让推理效率提升约 4.5 倍,第三方尚未复现。
四、自建对 API,8 卡节点要跑到约 7,660 tok/s 才追平
API 侧价格是公开的:输入 0.9 元每百万 tokens(限时 6 折)、缓存命中 0.08 元、输出 3.6 元。按输入输出 3 比 1 混算,混合单价约 1.575 元每百万 tokens。自建侧按 8 卡 FP8 推理节点估算:设备 80 万元、36 个月折旧摊 2.2 万元每月,12kW 整机功耗按 0.7 元每度约 6,000 元每月,机位与运维 3,000 元每月,合计约 3.1 万元每月。想把固定成本压到与 API 等价,月产出需约 198 亿 tokens,折合约 7,660 tok/s,摊到 8 张卡是每卡 957 tok/s,基本是理想工况。若按 2,000 tok/s 的保守吞吐,日产能 1.73 亿 tokens:调 API 花 272 元,自建摊 1,042 元,差近 4 倍。
五、给选型的落点
纯价格战,自建打不过 0.9 与 3.6 的限时价,缓存命中 0.08 元更是把重复提示词场景的 API 成本压到极低。自建的真实理由只有三条:数据不出域、供应链必须国产、业务量已经越过每月 3 万元的固定成本线且有稳定高负载。落地建议是长上下文与潮汐流量留在 API,挑 1 至 2 条合规要求最硬的业务线做 8 卡 FP8 试点,先压出每卡实际 tok/s 与首 token 时延,再决定是否扩到 16 卡。
来源:IT之家与新浪科技、时代周报(东方财富转载)、讯飞星火官网、讯飞星辰 MaaS。显存折算、KV 估算与回本测算均为按公开参数的估算口径,非厂商披露;效率倍数与定价为厂商自报。