M2.5 开放权重 230B 落私域:一张「跑得起、跑得动、跑不亏」的采购判断

行业新闻 · 丁香 · 发布 2026-10-20 · 阅读 49

开放权重 + 230B MoE:先给一个判断,再拆三本账

判断先行:M2.5 是当下「私有化部署性价比拐点」最清晰的一个样本——开放权重、230B 总参 MoE、每 token 仅激活约 10B(256 个专家里取 8 个,厂商口径),SWE-Bench Verified 80.2%(多源一致),与闭源旗舰同档。对需要数据不出域、或调用量已经堆到临界点的企业,这是该认真评估私有化的一条线。

第一本账:显存(跑不跑得动)。MoE 的成本模型要分开看:权重总量按 230B 算(FP8 精度下约 240GB 量级,量化档位不同会有出入,此为估算非厂商指标),但每 token 计算量只按激活的 ~10B 走——这意味着吞吐瓶颈在权重搬运而非矩阵乘,多卡 NVLink 互联的拓扑权重比卡数本身更重要。采购侧建议:先按激活参数定推理卡配(8×H20 或国产推理卡组网,具体以实测为准),再按权重总量定存储与加载带宽,两件事不要混在一个规格书里。

第二本账:推理成本(跑不跑得起)。API 侧参考价(第三方渠道口径,非厂商报价):M2.5 标准档输入 $0.15/M、输出 $0.95-1.20/M,高速档(Highspeed)输出 $1.15-2.40/M。按 Effloow 的 SWE-Bench 任务口径,单任务约耗 3.52M token(厂商自报均值),一个 SWE-Bench 级任务走 API 约 $1.37-1.58;自建则取决于电价、卡折旧与运维人力。经验法则:月调用量越过「自建月 TCO ≈ API 月账单」的交叉点后,私有化开始赚。编码 agent 这类高频长输出负载(输出占 token 大头)交叉点来得最快。

第三本账:合规收益(该不该上)。数据不出域是硬约束时,API 价格再低也是 0 分——这是判断逻辑里权重最高的一条。次一档是调用量的长尾稳定性:对月调用波动大、峰值吃紧的企业,API 弹性是优点;对调用量稳且持续爬升的企业,自建折旧摊薄后单位成本单调下降。

一句话收口:M2.5 的开放权重把「旗舰级编码能力」的入场券从 API 月账单改成了机房月电单。上不上,看三把尺子——数据合规等级、月调用量对交叉点的位置、以及 MoE 激活参数对应的推理卡预算。三把尺子都在你这边,厂商只递权重。

硬件配置锚点(估算,以实测为准):230B 权重在 FP8 精度下约 240GB 显存,8 张 30GB 级推理卡(H20 或国产同档)刚好托住;INT4 量化可压到 120GB 量级,4 张卡即够、KV cache 余量更大。MoE 架构的要害是「权重总量定内存、激活 ~10B 定计算」——配卡按权重总量加目标会话 KV cache 留余量,不能按激活参数配。256 个专家的路由要求权重频繁搬运,卡间互联拓扑比卡数本身更影响吞吐。

单任务成本对照(API 与自建交叉参考):以内部编码 agent 为例,月输出 2M token。走 API 标准档 $0.95/M 输出(第三方渠道价,以厂商报价为准)约 $1,900/月;自建 8 卡推理组,电费加卡折旧加运维的月 TCO 取决于利用率——月输出量越高越稳定,交叉点来得越早。批量任务(夜跑 CI、数据管道)用标准档,交互 agent 用高速档($1.15-2.40/M 输出,第三方价),而私有化是同一套硬件不分档,混合负载要规划两个容量池,别把高速需求压到批量池上。

来源:HuggingFace 官方模型卡(MiniMaxAI/MiniMax-M2.5)、minimax.io 官网、dev.to 与 Effloow API 指南(价格与单任务 token 口径为第三方,已标注)。