一张 5090 跑 27B 决策层:Prism 开源后,私有化采购要先过三道关
两天两套引擎,决策模型也有了专用推理层
10 月 20 日 DeepSeek 开源 DeepInfer 之后,10 月 22 日,上海原点星辉(StartLux)把自研推理引擎 Prism 挂上 GitHub——这是第一个专门为「决策模型」写的推理引擎。决策模型不写长文,读完材料直接给概率:工单归哪个组、今天要不要回、风险几级。它跑在通用框架上,能力释放不出来。
模型本身也有位置:10 月 16 日发布的 StartLux-Decision-v1.1 在 Hugging Face 的 Decision Index 0.3.2 拿到 69.1 分,173 个公开可复现模型里排第一。
省下来的算力在哪:24.8 万词表砍到 26 个字母
27B 模型的输出层有 12.7 亿权重。vLLM、SGLang 这类通用引擎按「下一个 token 是谁」工作,要把 24.8 万个候选词完整打分一遍;决策任务只需要 A 到 Z 共 26 个选项。输出阶段九成九以上的计算是白做的——Prism 把这段压到原计算量的 0.01%,同时把同一份材料的多个问题组织成森林式结构,树干(共用材料)只算一次,各分支只算自己新增的部分。
实测:短请求赢,长上下文只剩 1.2 倍
以下均为厂商自报,单张 H200、27B、一次一问:约 256 token 的短问题 19.0 毫秒对 53.1 毫秒,2.8 倍;同一份材料连问三题 17.4 毫秒对 92.9 毫秒,5.3 倍;换成约 8192 token 的长问题,439.8 毫秒对 531.2 毫秒,只剩 1.2 倍。JevBench 231 题均速 41 毫秒,SGLang 75.6 毫秒、vLLM 112.7 毫秒、llama.cpp 589 毫秒。64 路并发把卡跑满时,优势收窄到 17% 至 22%。
卡数测算:200 次每秒的决策层,2 张对 6 张
决策层的典型负载不是满载,而是高频小请求。按厂商自报的该类负载数据:Prism 单卡 100 请求每秒,表现最好的通用引擎 38 请求每秒。若业务峰值 200 请求每秒,通用引擎要 200 除以 38 约等于 5.3,向上取整 6 张 H200;Prism 要 200 除以 100 等于 2 张。差额 4 张卡,对应 4 个机位、4 份功耗、4 份运维。这是同型号卡上的线性外推,真实值必须用自家流量压测再定。
扩容曲线也已公开:8 卡数据并行 238 请求每秒,官方引擎 BF16 为 138;4 卡数据并行约为单卡的 3.92 倍;4 卡张量并行把单题从 41 毫秒压到 29 毫秒;2 加 2 混合是 86 请求每秒、单题 36 毫秒。吞吐和延迟要分开买,这是私有化方案里最容易被漏掉的一笔。
三道关:许可证、精度档、卡型
第一道,许可证。仓库写得很清楚:引擎自身代码尚未选定 license,模型权重是 CC BY-NC 4.0,即非商用。任何打算把这套东西装进对外收费业务的公司,都要先解决授权,别等上线后才补。
第二道,精度档。int8 平均准确率 92.94%、W4A8 93.07%、未量化 BF16 92.97%(七个评测集、12351 个样本)。4 位量化没有掉点,但也没有真的更准,那 0.1 个百分点应当视为噪声,不能当成量化增强写进方案。
第三道,卡型。4 位档的 27B 据官方说明能跑在单张 32GB 显存的 RTX 5090 上(压缩包 16.55GB,比 llama.cpp 快 3.9 倍)。低 QPS 的内网工单路由、审核前置判断,一张消费级卡就够;高并发再谈 H200。前提是 Linux、CUDA 13(驱动 580 及以上)或 CUDA 12(550 或 570)、Python 3.12、Ampere 及更新架构(sm_80 以上)。
我的判断
推理层的账正在被重算:参数不再是唯一成本项,引擎与卡型的组合才是。对采购而言,Prism 的价值不在 5.3 倍这个数字,而在于它把决策层从必须上专业卡变成可以按 QPS 分档选卡。但它自带无鉴权,仓库明确要求放在自己的访问控制之后,内网安全评估这一环不能省。先用一周真实工单跑一次 bench,再定买几张卡——顺序不能反。
来源:智东西与新浪财经、Pandaily、StartLux-Prism GitHub 官方仓库(2026-10-22 发布)。