AI 写的算子拿了双榜第一:私有化部署的预算大头,正从选卡转向选内核
先把事实说准
截至 10 月 22 日,一套完全由 AI 编写、没有人工逐行调优的算子集合 ForgeKernel,同时占据了两个榜单第一:英伟达主场的 SOL-ExecBench FlashInfer-Bench 合集,以及昇腾 CANN 官方仓库维护的 CANNBench A3 硬件榜。媒体报道的榜单数字是基准加速比 1.835×、领先第二名 25%,按此折算,第二名约在 1.468×。同一批报道还提到,在 DeepSeek V4.1 Flash 的算子上,ForgeKernel 以从零迭代的方式超过了 DeepSeek 自己开源的英伟达版本。
口径要先标清:这组加速比来自榜单页面,经 IT之家、第一财经等同源报道转述,ForgeKernel 背后的团队在报道中并未明确披露,也没有看到随榜单发布的官方性能说明。所以它应当按榜单口径对待,而不是按第三方复现实测对待。
为什么这件事落在部署预算上
私有化项目的账,通常按卡乘以月结算。一套八卡整机的月租、机房电费、运维人力,都是为同一块硬件付的钱;模型换不了硬件,硬件也换不了模型。算子处在中间层,它决定同一张卡上同一个模型能跑多快。1.835× 的加速比,等价于单位输出 token 的卡时成本从 100% 降到约 54.5%,也就是省下约 45.5%。这个比例,比绝大多数采购谈判能拿到的折扣大得多,而且不需要新增一颗芯片。
更值得看的是对照组。DeepSeek 全面开源推理框架 DeepInfer 之后放出的 FlashMLA,人工逐行手调的版本已经把算子性能推到硬件极限的 90% 以上,这是 DeepSeek 自己的口径。AI 迭代在同一周刷新了这项人工成绩,说明在“手调已接近极限”的算子上依然有空间,而这个空间过去被默认需要资深内核工程师投入数月。
双榜同题:国产卡的验收多了一把公共尺子
两个榜单的分量不对称。SOL-ExecBench 由英伟达自己维护,官方公开的口径是 235 道内核题、从 124 个模型里抽取、以 B200 为目标硬件,用 SOL Score 衡量距离硬件光速上界还差多少,其中 26 题来自 FlashInfer-Bench。它评的不是比某个开源实现快几倍,而是把到硬件上限的差距补上了多少,这压掉了靠压低软件基线刷分的空间。
CANNBench A3 则由昇腾 CANN 官方仓库维护。同一个方案同时占住两边第一,在采购层面补上了一样长期缺失的东西:跨架构同题对比的锚点。以往国产卡与英伟达卡的性能比较,多靠厂商各自给出的分场景数据,口径不齐;现在至少多了“同一套自动生成的算子,在两边榜上分别排第几”这条参考线。
三个可以立刻加进项目的动作
第一,把 POC 指标下沉一层。验收表除了模型准确率,增加同模型、同卡、不同内核与引擎的对照项:首 token 延迟、输出吞吐、长上下文高并发下的衰减幅度。只看峰值吞吐,会漏掉长文档场景里收益反转为负的情况。
第二,把引擎与内核版本写进交付清单。这类优化多以依赖形式随推理框架发布,升级框架就等于换内核;不锁版本,一次顺手升级可能把生产性能打回原点,而且故障现象是变慢而非报错,排查成本高。
第三,国产卡先小规模验用。用一到两颗国产兼容卡跑通全链路,在自家 20 到 50 条真实任务上复测,再谈整机批量。榜单第一不等于你的负载第一。
我的判断
算子层正在从工程师的个人手艺,变成可被搜索、可被复现、可被自动迭代的工程产出。这会把本地部署的成本曲线往下拽一档,也会把换芯的适配成本从改内核降为改参数。对预算敏感的企业私有化项目,内核层值得进选型评分表,权重建议不低于 15%,因为它同时影响卡数测算与扩容节奏。但底线要留一条:任何榜单口径的加速比,须在自己 20 至 50 条真实任务、自家上下文长度上复现一次,才能计入采购决策。
来源:IT之家 2026-10-22、第一财经快讯 2026-10-22、NVIDIA SOL-ExecBench 官方仓库与论文口径、昇腾 CANNBench 榜单。