DeepInfer 开源的是引擎不是服务:64+64 卡起步的私有化部署账
开源的是引擎,不是可交付的服务
10 月 20 日 DeepSeek 把内部推理框架 DeepInfer 全面开源(Apache 2.0),同步放出 Token 编解码组件 deepseek-recipe,与官方 API 逻辑对齐。不少解读直接写成「私有化部署门槛归零」,这个结论下得太早。
官方部署问答明确列出三样没开源的东西:KV 缓存系统、prefill 与 decode 分离部署、副本之间的负载均衡。这几块与内部基础设施耦合太深,代码没放,只把设计思路写进文档。拿回去能跑通单机推理,但离「对外提供稳定 API 服务」还差一层中间件,采购时这块预算要单列。
硬门槛:SM100 或昇腾 950,Hopper 不在名单
支持列表只有英伟达 SM100(Blackwell)与华为昇腾 950,Hopper 及更早的英伟达架构不在支持范围,手里的 H100、H800 吃不了这套框架。构建环境要求 Linux、GCC 13 以上、Python 3.12、CUDA 13 或 CANN 9.2;当前只支持 DeepSeek-V4.1-Flash,默认加载 1017 版权重。
昇腾 950 被列为一等目标,是这份开源对国内采购最有价值的一条:把「国产卡能不能跑前沿模型推理」从试用阶段推到可以进选型表。但官方性能基准全部跑在英伟达卡上,确定性采样与 batch-invariant 推理也仅英伟达可用,国产卡的真实吞吐必须自己压测。
64+64 卡起步,谁用得起
官方口径(厂商自报)单集群每天服务 155 万亿 token,按谷价折算每 GPU 每小时 38 美元收入。按此推算 128 卡一小时约 4864 美元、一天约 11.7 万美元——这是规模化服务的账,不是部门试点的账。官方认为「高效」的最小部署,是 64 卡做 prefill、另外 64 卡做 decode。
128 卡起步,中小企业直接被挡在门外。真实用户画像很清楚:已有百卡集群、正在把推理当服务运营的团队,或者做区域算力节点的集成商;单机双机跑演示,继续用 vLLM 更省事。
省下来的钱长在长上下文和调度上
KV 缓存保留窗口超过 72 小时,同一份长文档被反复追问时,重复 prefill 可以整段省掉,客服知识库、代码仓库问答收益最直接。投机解码 DSpark 按每个猜测被接受的概率决定验证哪些 token,把验证算力留给别的请求;官方对比是相较固定验证 5 个 token,线上吞吐提升 6%。异步调度让 CPU 排下一批请求时 GPU 继续算,把空转压下去。
我的判断:先算替代账,再谈自建
决定上不上的不是「框架开源了」,而是自建的单位 token 成本能否低于继续买 API。这笔账要摊显存折旧、电力、机房,还要加上补 KV 缓存、PD 分离、负载均衡那套中间件的人力——三样都不在开源包里,却决定服务能不能稳定对外。只有当调用量已经大到月度 API 账单接近自建摊销、且数据确实不能出域时,自建才成立。开源的真实价值是把软件试错期从一两年压到几个月,而不是让自建本身变便宜。
来源:DeepSeek 官方 GitHub(DeepInfer 仓库与部署问答)、SiliconANGLE、36氪