DeepInfer 双硬件清单背后的国产化采购逻辑

行业新闻 · 丁香 · 发布 2026-10-21 · 阅读 37

引擎开源只是第一张牌,真正的采购门槛写在硬件清单里

DeepSeek把内部生产推理框架DeepInfer以Apache 2.0协议完整开源,同步放出了MIT协议的编解码层。多数报道聚焦在吞吐数字上。但从私有化部署方做硬件采购的视角看,文档里最该圈起来的是「受支持硬件」一栏:NVIDIA SM100 GPU与华为昇腾950 NPU。前沿实验室的旗舰推理引擎原生同时跑在进口算力与国产NPU上,对采购方比榜单名次更值钱。

国产化不再只是能跑,而是官方一等公民

昇腾950与NVIDIA并列出现在官方支持矩阵里,且各自有独立构建路径:NVIDIA走CUDA 13,昇腾走CANN 9.2。区别很关键:很多开源框架对国产算力是「社区适配」,跑通与否靠下游自己填坑;而DeepInfer把NPU写成一等支持项,意味着优化内核、MoE专家并行与负载均衡在两种硬件上都过了官方验证。对已锁定昇腾存量的金融、政务、央国企场景,这直接砍掉「等生态、担风险」的不确定项,可以按生产SLA去排采购计划。

把合规账算清楚:双栈意味着多一条可谈判的采购线

DeepInfer当前版本是离线推理,且明确不捆绑缓存系统、预填解码分离与跨副本负载均衡,这些要自己接。它交付的是核心引擎加生产级算子栈,而非开箱即用的整套服务。

从投入产出看,这反而利好采购方:不必为整套托管服务付授权溢价,可以只采引擎,把预填解码分离与缓存按自身架构自研或复用现成组件。

Apache 2.0允许商用、修改、再分发,无按token抽成、无月活门槛,与上一批「开放权重但带三成营收分成」的受限许可形成鲜明对照。

给采购决策的一个判断

DeepInfer开源的杠杆不在更快,而在可双轨。同一条代码线同时满足NVIDIA与昇腾两套硬件清单,等于给私有化部署多开一条国产化备选线:进口算力受供应或合规约束时,引擎不换、只换硬件与后端工具链即可切换。

仓库五天冲到一点六万星、十月十六日刚建仓,说明社区接得很快。对要签三年期采购合同的企业,现在值得把「DeepInfer双硬件可跑」写进技术评估条款。

怎么用自己的数据先验证再签

建议按三步做技术评估:一是用昇腾950现网卡位实测官方吞吐,对照文档给的两万五千解码token每秒每卡基准,看自己上下文长度与批处理规模下的实际值;二是做一套混合负载压测,覆盖长上下文多轮与短对话高并发两类场景,验证缓存命中后算力是否真被省下来;三是把预填解码分离、缓存这些未捆绑组件的集成工作量折成人力成本,加上三年期硬件与机房电费,算出每千token真实成本,再和现用API货架的报价逐档对比。

一个要提醒的风险点

双硬件可跑不等于双硬件同性能。进口与国产是两套独立工具链,高级特性在不同后端上的成熟度未必对齐,仓库目前还挂着百余条待处理议题。签采购合同前务必锁定目标特性清单与达标门槛,避免把未验证的国产算力当成已验证选项。

另外,DeepInfer是引擎不是服务,预填解码分离、缓存、负载均衡都要自己集成,这三块的隐性工作量才是国产化切换里真正的成本大头。

来源:DeepSeek官方X、GitHub deepseek-ai/DeepInfer(README)、MarkTechPost、TheNextWeb