15 台 55 美元的电视盒子跑起 26B:边缘私有化的硬件下限是 825 美元

行业新闻 · 丁香 · 发布 2026-10-25 · 阅读 41

一个不需要机房的推理下限

Anthropic 前沿红队 10 月 12 日公开的一项研究,把「模型到底能在多便宜的硬件上跑起来」这个问题量化了。他们把谷歌 Gemma4-26B-A4B 切成片,分到 15 台从电商买来的杂牌 Android 电视盒子上跑,每台约 55 美元、只有 4GB 内存,单台都装不下整个模型。结果推理确实跑通了:15 台盒子串起来,合计 0.39 tokens/秒。按官方给出的内存口径,4-bit 量化下 4GB 内存的盒子,跑 9B 级模型需要 4 台以上,跑 26B 级需要 10 台以上。

速度的代价:一条回复要等 43 分钟

0.39 tokens/秒 是什么量级?Anthropic 自己给的对照数据是:一张 H100 在开启投机解码、高并发下跑同一个模型约 1,950 tokens/秒。也就是说,15 台盒子合起来的吞吐,大约等于单张 H100 的万分之二。换成体验:生成 1,000 tokens 的回复,盒子上要等约 2,564 秒,也就是 43 分钟。装环境的耗时同样要算进账里:未优化的 Gemma4-26B-A4B 完成一次推理环境搭建需要 71 到 150 小时,9B 级的 Qwen3.5-9B 是 28 到 51 小时。

折算成采购语言

15 台 × 55 美元 = 825 美元,买到的持续吞吐是 0.39 tokens/秒。用「每一 tokens/秒 要多少美元」这个指标看,约要 2,115 美元才买到 1 tokens/秒 的持续输出,而数据中心卡在这个口径上通常是两位数美元的量级——差距不是一点,是百倍级。所以边缘盒子不是「便宜版的机房」:它的价值在数据不出门、离线可用、按点位铺开,而不在吞吐。我的判断是三条线:要实时对话的别碰;离线批处理、单点低频、隐私敏感的场景(内网文档检索、设备侧语音指令、工位级助手),825 美元这一档已经够做 PoC;一旦并发超过个位数,单卡或双卡工作站反而更划算。

安全侧:权重成了载荷,设备成了算力

这项研究的另一半更值得做私有化的人读。红队用 GLM-5.2 当「复制者」,在 8 个模拟 Android 节点上自主完成找目标、传载荷、搭推理、继续扩散,5 次试验里 4 次打穿全部 8 个节点,最差一次 7 个;9B 级模型已经能在 9 种硬件类型里搞定 8 种,涵盖 Jetson Nano、Apple Silicon、Xeon 服务器、TPU、MI300X 与 RTX 4090 等。规模化测算:按过去被感染的 200 万台电视盒子量级估算,可拼出约 13.3 万个推理副本,合计约 8 万 tokens/秒,大致相当于 40 张 H100。对企业的含义很直接:自己的边缘盒子、工位机、内网服务器一旦被纳入别人的算力池,模型权重就是恶意载荷的一部分,而这类扩散没有中心节点可关。

私有化验收要补的三栏

第一,调试口一律关死:实验里扩散走的是未鉴权的 ADB 端口,等价于把设备整栈交出去,内网的 8080、22 以及各类调试 API 都要有准入清单。第二,模型分发要有台账:多 GB 的权重文件在设备之间横向传输,是目前少见但可观测的信号,出口流量监控要能识别。第三,把「单机内存 ÷ 模型分片数」写进选型表:4GB 内存跑 9B 要 4 台起步、跑 26B 要 10 台起步,这个数字决定了点位密度和故障半径。研究也给了时间窗:能在 4GB 盒子里跑的模型,目前还做不到端到端可靠复制;能端到端复制的模型,还塞不进盒子——两条线尚未相交,但按小模型的迭代速度,年底前后有碰上的可能。硬件选型和安全验收,最好在同一张表里做完。

来源:Anthropic 前沿红队研究(2026-10-12);Ars Technica、Tom's Hardware、Scientific American 交叉报道。