八台 DGX Spark 拼出 1TB 内存:桌面集群能扩容,解码只跑到 4.3 倍
一、10 月 23 日真正变的不是价格,是连接方式
64GB 版 DGX Spark 今天经 Acer、ASUS、Dell、GIGABYTE、HP、MSI 六家整机厂出货,起价 4999 美元,GB10 Grace Blackwell 超级芯片、20 核 Arm CPU、ConnectX-7 网卡、273GB/s 带宽都没缩水,只是内存砍半。厂商口径下单台 64GB 可整机运行 100B 参数以内的模型。真正值得记的是同一场 GTC Berlin 里的另一句:手动组网上限从单机放宽到 8 台,128GB 机型八台合计 1TB 统一内存,足以容纳 GLM 5.3 这种 753B 的全量模型。一台开发机因此变成了一个可横向加节点的机架。
二、拓扑决定你能不能走到 8 台
三种接法对应三种上限,采购前要一起定:两台靠 QSFP 线在 200GbE 上直连,内存池合到 128GB,覆盖 200B 以内模型,厂商自报相对单机约 1.7 倍吞吐;四台走物理环形,成本最低,适合只做推理的小团队;要上八台或做分组切分,就必须上交换机,没有捷径。软件侧还有一个容易忽略的变量:RoCE 后端在八节点交换机拓扑下把解码加速做到 4.43 倍,没有它只有 3.05 倍。这 1.4 倍差距不是参数表上的,而是网络栈配置出来的,验收时要单独压测。
三、扩展效率的两张面孔:训练近线性,推理打对折
NVIDIA 技术博客给了两组正好互相打脸的数字。预训练一个 nanochat 模型跨八节点是 7.79 倍加速、97.4% 线性度,几乎白捡;但解码 Qwen3.8-27B 从单节点约 12 tokens/s 涨到八节点 52 tokens/s,只有 4.33 倍,折成效率约 54%(本刊按来源数字折算)。同一批盒子,训练侧接近线性、推理侧刚过一半,原因是解码被节点间张量交换卡住,而预训练可以用更大的批把通信藏起来。所以加节点对训练任务划算,对交互式推理第四台之后就该算边际账。厂商给的补丁是 NeMo Switchyard:用 YAML 策略把大部分流量路由到小模型,聚合吞吐最多提到 3 倍,等同承认硬扩不如分流。
四、三档机型怎么放进同一张采购表
按今天的公开数字可以划出三层。64GB 八台封顶 512GB,够跑 200B 以内模型的多实例并发、微调和内部智能体开发,但摸不到 753B 全量;128GB 八台凑 1TB,是本地整跑前沿开放权重、并给百万级上下文留 KV 空间的唯一路径,代价是市面报价已从发布价涨到约 6950 美元一台;DGX Station 则是另一类物种:748GB 相干内存、最高 20 petaflops,厂商称可服务 30 名以上用户并保持接近云端的响应速度,Windows 版本 12 月由 ASUS、Dell、GIGABYTE、HP、MSI、Supermicro 出货,还能挂 Intune、Splunk、Tanium 这类企业管控工具。两条路的区别不在算力,在于谁负责运维。
五、我的判断:它替代不了推理集群,但能替掉一部分云账单
如果目标是把每百万 tokens 成本压到最低,桌面集群会先撞墙:54% 的解码效率线意味着卡数和电费都要按两倍折算,而 GPU 服务器的解码线性度更高。它真正的价值是三个场景:一是敏感数据不出机房的微调与评测;二是给十几个开发者的共享智能体开发环境,可以先用 Model Launcher 一键拉起模型容器再接 OpenCode;三是当云账单在某个部门单独爆掉时,做一次成本对冲。采购顺序我建议反过来:先定模型上限(100B、200B 还是 753B),再定拓扑(直连、环形还是交换机),最后才谈台数。先买机器后想模型,八节点也跑不出你要的上下文长度。
来源:NVIDIA 官方技术博客(2026-10-22)、GTC Berlin 2026 发布信息及 GEroundtable、Tech-Critter、Bytechap 现场报道;价格与性能数字中标注为厂商自报的部分未经第三方复现。