行业新闻
汇聚全球顶尖的AI大模型及人工智能领域知识
一柜 144 卡、10.1TB 显存池:国产超节点报 40% Token 降幅,先算清机柜这本账
天数智芯在 2026 工博会首发天垓 300 IXL144:单柜 144 颗 GPU、18 颗 CPU,共享显存约 10.1TB,单跳时延 100 纳秒级,厂商测算每百万有效 Token 成本较国际主流方案低 40%。一个柜的显存相当于 9 台 8 卡 H200 级整机,卡数却等于 18 台 8 卡机,少掉的是跨机网络。本文按自报口径折算回本期,并给出机房、迁移、运维三张验收清单。
八台 DGX Spark 拼出 1TB 内存:桌面集群能扩容,解码只跑到 4.3 倍
NVIDIA 在 GTC Berlin 把 DGX Spark 的手动组网上限从单机扩到 8 台,128GB 机型八台合计 1TB 统一内存,可整跑 GLM 5.3(753B);64GB 版今日经六家 OEM 以 4999 美元起开卖。预训练 8 节点近线性 7.79 倍,解码 27B 只有 4.33 倍,扩容要按任务类型分层算。
均价 13.46 元每百万词元之后:自建推理的盈亏线在哪个量级
信通院《大模型词元服务性能监测报告(2026年)》显示国内归一化均价从 6.8 元升至 13.46 元每百万词元、8 月平均 TPS 达 78.23。本文按吞吐折算通道容量,测算自建推理盈亏点前移幅度,并给出长上下文显存预留与首词时延 SLO 基线建议。
14.8B 的 DNA 模型怎么落地:Carbon-X 私有化只需一张 24GB 卡,显存账本与回本测算
Hugging Face 开源 14.8B 的 DNA 对话模型 Carbon-X,Apache 2.0、单卡可跑。本文算清 BF16 到 Q4_K_M 五档显存的真实占用、llama.cpp 版本坑,以及年百万级变异分析的投入回本周期。
一台 8 卡机变成三套集群:私有化推理的起步清单多出两行
Nutanix 与超微公布联合工程化私有化推理方案:每节点 8 张 B300、单节点 2.09TB HBM3e,另配专用管理集群 NX-8170-G10 与存储集群 NX-8150-G10,2027 年初出货且未公布定价。本文拆三笔账:显存容量与并行切分、最小起步规模从机柜抬到机房、以及空窗两个季度带来的折旧溢价。
十万卡集群的四个工程数字,能搬进你的私有化机房几个?
第23届中国计算机大会披露,十万卡超集群已完成300余项应用优化、提供400多个模型推理服务,浸没液冷把PUE压到1.04,基建投入占比首次超过GPU采购。这些数字能不能下移到几十卡的私有化项目,要看四栏账怎么拆。
显存按 293B 备、算力按 30B 算:星火 X2.6 上私有化,8 卡 FP8 是起步档,1M 上下文先备 122GB
星火X2.6 293B-A30B、1M上下文、全国产算力训推同栈。私有化部署账:BF16权重约546GB,8卡须走FP8;1M单序列KV约122-153GB;自建8卡要跑到约7660tok/s才追平API混合价1.575元每百万。
海外机房部署算出口:AI 技术目录三条红线落下,私有化交付的排期账要重算
商务部、科技部 48 号公告拟将 23 项 AI 技术纳入出口管制:10^26 FLOPs、2 万亿参数、全球前十三条红线触发限制,API 调用不算出口但海外本地部署算。对私有化交付而言,部署形态变成合规变量——自有海外云走自动许可,客户机房需许可,排期与型号清单都要改。
混元 Hy3 正式开源:295B 总参、21B 激活、Apache 2.0 免商业授权,8 卡起跑的显存账怎么算
腾讯 10 月 23 日正式开源混元 Hy3 与 Hy3-FP8:295B 总参数、21B 激活、256K 上下文,Apache 2.0 免费商用且无营收门槛。按架构推算 BF16 权重约 590GB、FP8 约 295GB,官方建议 8 卡 TP=8;但 256K 单序列 KV 缓存就约 86GB,长上下文才是真正的显存瓶颈。
501B 的容量、23B 的速度:Beam 私有化要 353GB 显存起步,Dell 验证配置把门槛压到 4 张卡
Reflection 的开放权重模型 Beam(501.3B 总参数/23.4B 激活,Apache 2.0)把私有化门槛摊成了三档显存:NVFP4 最低 353GB、FP8 604GB、BF16 1,204GB。Dell 在 GTC 柏林给出首个验证方案,但端点上下文只有 262K、首次启动要等内核调优。
集装箱里 504 张卡:DSX POD 把机房上线压到 14 天,单 pod 提前投产值 1500 万美元
英伟达 DSX POD 把一个吉瓦级 AI 工厂拆成 28 吨集装箱:7 个 Vera Rubin NVL72 机架、504 张卡、800 伏直流进线,现场部署从 6 个月压到最快 14 天。本文把交付周期折算成钱——单 pod 资本约 4200 万至 4900 万美元,提前 166 天投产多产 1500 万美元以上,并给出拿电、制冷与验收的六条口径。
1 张 B200 顶掉 22 张卡:Liquid RIPL 把实时推理的容量账改成硬件口径
Liquid AI 的 RIPL 让 LFM2.5 在实时请求路径里跑到 p95 34.6ms,但真正的决策点是把毫秒换算成卡数:守住 50ms 预算,vLLM 方案要十倍以上的同型号 GPU。
252GB 权重上架、十家芯片厂首日支持:M3.1 Flash 开源第一天,私有化的账要重算三遍
MiniMax 10 月 23 日在 Hugging Face 上线 M3.1 Flash 权重:48 个分片约 252GB、无审批门,428B 总参数走 MXFP8 量化。发布说明称十家芯片厂、六家云平台首日支持,摩尔线程同步发布 Day-0 适配公告但未披露卡型与吞吐;许可限定非商用、商用年营收超 2000 万美元需书面授权。本文按显存、栈、许可三层给出私有化选型与成本测算。
存储厂罢工撞上 DRAM 再涨 15%:私有化推理节点的显存预算,该在本季度锁定了
美光台湾桃园厂 10 月 22 日举行台湾半导体业首次罢工,虽未造成产出中断,但叠加 TrendForce 本季常规 DRAM 合约价再涨 10% 到 15% 的判断与 2027 年产能售罄,私有化推理节点的显存预算正被推高。本文给出三条证据链与三个对冲动作。
3小时拿到管理员权限:Storm-0940 用 AI 代理机器速度攻击,私有化部署的安全预算得重算
微软披露入侵组织 Storm-0940 借 ARTEX AI 代理框架与 ConnectWise 供应链失陷,机器速度触达 2,250+ 租户,峰值每分钟 2,900 次登录尝试,部分目标不到 3 小时获特权访问。本文从私有化部署视角,拆解信任面、代理身份最小权限与自动遏制三道安全预算。
一周四批开放权重、零份第三方复测:许可写着 AS IS,私有化的验收线只能自己画
10 月 15 日到 21 日,开放权重连落四批交付物,但性能与成本数字全部出自厂商自述,没有一份第三方复测。阶跃星辰 Model License 1.0 的 AS IS 条款把输出结果责任明确交给部署方,独立榜单 AA 的 44 分只量模型智能、量不到部署。本文给出私有化采购的溯源、许可、方法三查清单,并用同款模型 NVFP4 91G 与 BF16 299G 的 3.3 倍显存差,说明选卡报价该按哪个版本算。
AI 写的算子拿了双榜第一:私有化部署的预算大头,正从选卡转向选内核
完全由 AI 编写、无人工调优的 ForgeKernel 同时登顶英伟达 SOL-ExecBench FlashInfer-Bench 合集与昇腾 CANNBench A3 硬件榜,榜单加速比 1.835×、领先第二名 25%。折算下来同卡同模型的卡时成本可降约 45.5%,私有化项目的验收与选型逻辑需要下沉到内核层。
标称 24GB、实测常驻 31.4GB:2 位量化把 74B Agent 塞进工作站,钱却花在折旧上
英伟达 Nemotron 3.5 Bolt 74B-A9B 把 120B 父模型压到 2.0625 位、权重 24GB,第三方实测常驻 31.4GiB、单请求 61.61 tok/s;按 350W 整机与 4999 美元硬件测算,电费只占自建成本 6%,折旧占九成,日均满载 2 小时是自建与调 API 的分界线。
基板 2.5 倍要等三年:英伟达六家扩产时间表,把自建算力的上电窗口推到了 2027 下半年
英伟达10月21日与安靠、揖斐电、京元电子、三星电机、矽品、欣兴六家供应商公布扩产:基板三年2.5倍、韩国中介层2028年底+300%、测试产能2026到2027翻倍、光引擎2027年中15倍,并向京元电子预付11亿美元产能预留款。按公告日期测算,2026Q4至2027上半年仍是交付最紧窗口。
TPU 的 PyTorch 门票免费了,芯片却不在你机房:TorchTPU 开源后的硬件选型账
谷歌在 PyTorch Conference 2026 开源 TorchTPU 及 vLLM/SGLang/TorchTitan 四个仓库,TPU 成为 PyTorch 原生设备,迁移只需改一行 device。单芯片 prefill 25.7k tokens/s、MFU 59%,Qwen3 8B 训练 52% MFU 到 8192 芯片。但 TPU 只能云上租用,自建机房路线不受影响。