一柜 144 卡、10.1TB 显存池:国产超节点报 40% Token 降幅,先算清机柜这本账
一、这次变的不是单卡参数,是机柜
10 月中旬的 2026 中国国际工业博览会上,天数智芯首发天垓 300 IXL144 超节点:单个机柜集成 144 颗 GPU、18 颗配套 CPU,整柜共享显存约 10.1TB,机柜高度 44U,单跳通信时延进入 100 纳秒级,特定 MoE 场景 All-to-All 有效带宽提升 15%。公司测算,每百万有效 Token 成本较国际主流方案降低 40%,注意这是厂商自报口径,不是第三方压测结果。对做私有化预算的团队,这几个数字比跑分有用,因为它们改的是机柜、网络、显存三张表,而不是一张榜单。
二、10.1TB 摊到每张卡是多少
10.1TB 除以 144 颗卡,平均约 70GB 每卡,说明单卡显存在 64GB 以上档位。换个参照更直观:一台 8 卡 H200 级整机的显存约 1.1TB(141GB 乘 8),一个 IXL144 柜的显存池相当于 9 台这样的整机;而 144 颗卡按 8 卡一台算,等于 18 台。同样的算力规模,机柜级方案少了那 9 台整机之间的跨机网络:交换机、光模块、线缆,以及它们带来的运维面。天数智芯的做法是用正交连接器和整柜全交换互联替掉这部分,柜内 GPU 显存通过 Load/Store 语义当统一内存地址域直接访问,不走传统 RDMA 路径。
这件事对 MoE 尤其关键。专家并行带来的 All-to-All 通信是当前推理的主要瓶颈之一,跨机走网卡再怎么快,也追不上柜内 P2P 直访。10.1TB 的池子还意味着 KV Cache 不必被频繁挤出去,长上下文和 Agent 多轮会话吃掉的正是这部分显存。
三、40% 是有效 Token,不是输入 Token
把 40% 拉进回本模型,先要卡住三个口径。第一是有效二字:MoE 的实际计费与压测口径差异很大,无效专家计算、重试、缓存未命中的部分都要剔掉才叫有效 Token。第二是自报属性:这个数字出自厂商测算,采购前必须用自己的业务 trace 复现。第三是边界:它只覆盖 Token 成本,不含机房改造。
按自报口径做一个粗算:若原先自建方案的静态回本期是 3 年,设备侧按 6 折计,回本期压到约 1.8 年。但这条线成立的前提是吞吐真跑满,如果负载只有三成利用率,40% 的单价优势会被摊销直接吃掉。这也是超节点最容易被误判的地方:它优化的是每百万有效 Token,不是每台设备。
四、机柜再密,也要先过机房这一关
官方说法里有一句限定常常被略过:在供电、承重和散热条件满足要求的情况下,可利用现有机房部署,减少额外改造投入。也就是说 44U、单柜功率密度、承重、冷量这四项是前置条件,不满足就是新增改造成本,而且往往比设备差价更硬。选型更稳的顺序是,先拿机房条件做闸门,再谈那 40%。
迁移成本是第二道闸门。IXL144 走通用 GPU 路线,兼容 CUDA 等主流生态,改码量小,这是它相对专用架构的现实优势。第三道闸门更少被写进招标文件:能否长期稳定运行。厂商在 RAS 适配、故障处置、冗余架构上投入多少,决定了国产算力从能跑到能交付的距离。
五、给三条验收条款
一,单跳时延复测:100 纳秒级是规格值,要按自己业务的 batch 与并发复测,不要只验空载。二,All-to-All 有效带宽:15% 的官方提升对应特定 MoE 场景,必须用自己的专家并行配置和真实专家数复现。三,降级演练:单卡、单链路、单个交换单元故障时,整柜吞吐掉多少、多久恢复,写进验收。
另外值得留意一个结构信号:IT 时报援引的统计口径显示,中国 GPU 出货量 99.1 万颗、同比下降 26%,而其他类型 AI 加速芯片出货 101.6 万颗、同比增长近 80%。采购正在分流,超节点不是唯一答案。我的判断是,短请求为主、月 Token 量还能被 API 覆盖的团队先别上柜;长上下文、Agent 多轮、MoE 大模型常驻且对单价敏感的业务,一个柜的显存池才是真省钱的地方。
来源:科创板日报与 21 经济网、每日经济新闻、IT 时报