行业新闻
汇聚全球顶尖的AI大模型及人工智能领域知识
KV 缓存压到 4bit、显存减半:vLLM 0.32.0 之后,自建的卡数账和验收单都要改
vLLM v0.32.0 把低精度 KV 缓存铺到多数卡型:GLM-5.x 在 SM100 上默认 FP8 KV,每 rank KV 显存减半、吞吐 +2.3%~5.5%、TTFT 差 7%~11%;短请求 req/s +43%~85%,折算卡量省 30.1%~45.9%。本文给出显存、短请求、吞吐三笔账与升级验收单。
87.5→157 TFLOPS 的老卡解锁:3090 二手价翻倍,自建推理的单位算力反而贵了 19.6%
开源项目 gpu-unlock 用 Linux 内核模块解开 RTX 30 系消费卡 FP16/BF16 张量核心发射速率限制,RTX 3090 Ti 的 BF16 从 87.5 升至 157.4 TFLOPS。本文给出真实负载增益(vLLM prefill +33~36%、decode 不变)、二手涨价后的每 TFLOPS 成本测算(单位算力贵 19.6%)与私有化部署五条验收线。
AI 验证 AI:OpenAI 停训 11 天后恢复,私有化部署抄的三条验收线
OpenAI 9 月 20 日 DNS 缺口事故后停训 11 天,10 月 1 日恢复前沿模型 RL 训练;智能体红队查出开源组件 0-day 与跨隔离通信通道,常驻「无实时外联」政策配离线世界。三条恢复闸门(无易利用路径实测/0-day 披露 SLA/持续红队算力预算)可直接抄进私有化验收单。
196GB 权重、单卡 4090 也能跑:Hy-Nomas 开源世界模型,自建前先算清三笔账
腾讯混元开源交互式视频世界模型 Hy-Nomas,Apache 2.0:完整检查点集约 196GB,演示路线约 86GB,低内存路线约 38GB 另加文本编码器;默认 8 卡 8 路序列并行,最低单张 RTX 4090 走 INT8 权值与 CPU 卸载。模型卡标注无任何推理服务商托管、无按秒定价,自建成本即卡时成本。
带宽多 30%、算力面积多 25%:NVHBM 定档 2027,自建推理的采购合同要补三行
英伟达定制 HBM(NVHBM)的 base die 统一定在台积电 3nm,三星与美光已确认、2027 年量产:带宽较 HBM4E 多 30%、功耗低 15%、算力面积多 25%。按带宽瓶颈场景换算,每百万 token 固定成本约降 23%,自建推理采购要补 HBM 类型、单点供应赔付、残值三条。
8GB 装下 7.5 万个挂起智能体:Infinity 开源,自建中台的采购表要多一栏并发密度
AWS 与 UC Berkeley 的 Hydro 项目开源 Infinity 运行时,20 轮工具调用后每个挂起智能体约 103KB,7.5 万个可装进 8GB 内存;私有化采购要把并发层与推理层分开列预算。
一台人形机器人只剩一家算力供应商:Digit 5 锁死 IGX Thor 后,机载算力采购要重算三笔账
Agility 把 Digit 5 量产版机载算力统一到 NVIDIA IGX Thor,NVIDIA 成为唯一供应商。2,070 到 5,581 FP4 TFLOPS、128GB LPDDR5X、40 到 130W 功耗带与功能安全岛,决定了自建与人形机器人采购的冗余、续航与带宽三笔账。
83.2% 对 36.1%:诊断编排系统登《科学》,医院自建该把预算压在检查单而不是显卡上
《科学》10 月 22 日刊出微软 AI 序贯诊断研究:MAI-DxO 在 304 例 NEJM 疑难病例准确率 83.2%,全科医师开卷 36.1%、闭卷 22.3%,检查费 5,431 美元对 4,725 与 3,049 美元。按预算档 79.6% 对应 1,303 美元/例测算,1,000 例/年省 174.6 万美元检查费,而推理只花 150 美元——私有化的钱该花在流程与验收上。
一张 12GB 卡跑 763B:Strata 0.2.4 把 DeepSeek V4.1-Flash 搬上桌面机,5 tok/s 换 14 年回本期
Strata 0.2.4 让 763B 的 DeepSeek V4.1-Flash 在 12GB 显存桌面机上跑起来,代价是 239 到 274GB 磁盘、4 到 10 tok/s,以及约 14.5 年的回本期。
320B 总参、15B 激活、512K 上下文:IQuest-Q1 开源,私有化门槛是 8 张 141GB 卡
IQuest-Q1 以 320B 总参、15B 激活、512K 上下文开源,官方 SGLang 配方为单机 8 卡 BF16。按 KV 结构测算:权重占 640GB,512K 单请求再吃 48.4GB,141GB 级卡型每卡约养 3 条长上下文并发。
一台笔记本能跑、一个机柜才训得出来:Dessa 划出的语音模型采购分界线
Block 公开全双工语音模型 Dessa:训练用一台 72 GPU 的 GB200 NVL72,推理跑在 M4 Max 笔记本上,形成 72 比 1 结构。权重与 API 均未开放,参数量、数据量、延迟三项未披露,本文给出采购验收口径与三条落地判断。
Kimi K3.1 Pro 权重延到 11 月 4 日:自建推理的安全验收要补三条线
月之暗面 10 月 24 日发布 Kimi K3.1 Pro,完整权重 11 月 4 日才到位,并主动移除训练中的网络攻击数据,内部基准从 90.5% 降到 81.0%。自建方拿到权重后护栏归属随之一并转移,验收清单需补红队基线、模型卡交付、版本升级路径三条。
告警 12 分钟到位、杀进程却隔了 2 小时 29 分:自建推理集群要抄的四层隔离与三条验收项
OpenAI 10 月 23 日把前沿模型训练不接实时互联网定为常设政策,并用缓存网页构建离线世界。9 月 20 日一次 DNS 解析器配置错误让内部模型出网,告警 12 分钟到位、停机用 2 小时 44 分,最强模型停训 11 天。对私有化部署方,可直接抄的是沙箱、虚拟机、监控、网络边界四层重叠,外加 DNS 日志、5 分钟自动熔断、共享存储侧信道隔离三条验收项。
词元均价从 6.8 元涨到 13.46 元:私有化这笔账,今年得重算一遍
信通院《大模型词元服务性能监测报告(2026年)》:国内每百万词元归一化均价从 6.8 元涨到 13.46 元,日均消耗约 500 万亿、是 2025 年 12 月的近 4 倍。涨价把自建的等效产值抬近一倍——一台 910C 整机日产 5 亿词元(厂商自报),按均价折算一天 6,730 元,涨价前只有 3,400 元,一年多出 121.5 万元。
云的 2027 已售罄、推理还要再便宜十倍:私有化这笔账,21 个月回本对赌年降 30%
AWS 2026 售罄、2027 基本售罄、2028 一大块已签,2200 亿美元 capex 折合每天 6.03 亿美元。按 H100 时租 2.73 美元测算:8 卡云等价 15,943 美元/月,自建 9,849 美元/月,回本 20.8 个月;但若推理价年降 30%,第 17 个月就交叉,自建优势提前消失。
1750GB 显存、22 张 H100 才装得下:K3.1 Pro 权重 11 月 4 日放出,私有化先算清三笔账
2.8T 总参数、104B 激活、100 万上下文的 K3.1 Pro 权重承诺 11 月 4 日前放出。按已开源的 K3 折算,MXFP4 整模约 1750GB 显存、22 张 H100 起步;按 2.73 美元/卡时,满载 1441 美元/天,要与 10 美元/百万输出 token 打平,需每小时稳定产出 600 万 token。
750 天的存货、4.3% 的跌价准备:国产 AI 卡备货曲线,自建采购要改哪三条
寒武纪前三季度营收 95.26 亿元、净利 37.15 亿元,同时存货 116.65 亿元、预付款 30.44 亿元,两项合计 147.09 亿元压在供应链上。按上半年毛利率推算,存货约合 750 天营业成本,跌价计提 5.02 亿元、计提率约 4.3%。本文把这组财报数字翻成自建算力采购可用的交付窗口、代际条款与账期结构三条读数。
一张 5090 跑 27B 决策层:Prism 开源后,私有化采购要先过三道关
StartLux 10月22日开源决策模型专用推理引擎 Prism,单卡 H200 短请求 19 毫秒(厂商自报,原方案 53.1 毫秒),把输出层从 24.8 万候选词压到 26 个字母。本文测算 200 请求每秒决策层需 2 张卡对 6 张卡,并提示许可证(权重 CC BY-NC 非商用)、精度档、卡型三道采购关。
4GB 上跑多轮智能体:Nemotron E4B 上线,NVIDIA 开放模型补上最后一块 4GB 边缘档
NVIDIA 于 10 月 23 日上线 Nemotron 3.5 Bolt E4B 4GB,补全开放模型家族 4GB→24GB→单卡 NVFP4 的完整硬件阶梯。本文拆解 E4B 定位、74B-A9B 实测数据与 Super VL 1M 上下文显存账,给出边缘部署选型与 4GB 机型验收条款。
27B 决策模型进不了 24GB 卡的 FP8 档:自建判断层,省的是不必生成的 token
蚂蚁数科 4B/27B 决策模型把 token 砍九成,本文只算私有机房的三笔账:27B 的 FP8 档 27GB 装不进 24GB 卡,4B 可在一张卡开四副本;100 万次判断每天折成 4.3 万元月账单,回本约两个月。