TPU 的 PyTorch 门票免费了,芯片却不在你机房:TorchTPU 开源后的硬件选型账
开源的是软件栈,不是芯片
10 月 20 日,在圣何塞的 PyTorch Conference 2026 上,谷歌把面向 TPU 的原生 PyTorch 后端 TorchTPU 以 Apache 2.0 协议开源到 GitHub,同步放出的还有 vLLM-TorchTPU、SGLang-TorchTPU 和 TorchTitan 三个仓库。项目与 Meta 的 PyTorch 团队联合开发,Hugging Face、vLLM 开发方 Inferact、SGLang 开发方 RadixArk 参与适配。前一天,亚马逊刚为 Trainium 放出 TorchNeuron——两家云厂商在同一周里拆 CUDA 的单向门。
迁移从重写降到换设备名
此前在 TPU 上跑 PyTorch 要走 torch_xla 的惰性张量,得手工圈出可编译区域,编译延迟高、调试困难。TorchTPU 改走 PyTorch 的 PrivateUse1 接口,TPU 对上层就是一个普通设备:model.to(cuda) 改成 model.to(tpu),Transformers v5 里只需传 device_map 为 tpu。官方称已支持约 450 个 Aten 算子,并在下载量最高的 5000 个 Hugging Face 模型上验证过开箱可跑;有媒体按 4917 个模型统计通过率 98%、与 GPU 基线数值一致度 97%,这两项属厂商口径。
执行模式上,Debug、Strict 之外多了一个 DeferAndFuse:先把连续算子攒起来融合再下发,谷歌称相对 Strict Eager 有 50% 到 100% 以上的提升,且不需要用户改代码。单张 TPU v7 芯片跑纯 PyTorch 的 30B 稠密模型,prefill 约 25.7k tokens/s、MFU 59%(序列长度 5120)——按此换算,单芯片处理 100 万 token 的 prefill 约需 39 秒。
训练侧的数字更值得看
训练走 TorchTitan 配方,Qwen 3 8B 在最多 8192 张 TPU v7x(Ironwood)上跑出 52% MFU,接近线性扩展;Qwen 3 235B 这类 MoE 用分层分片做到约 28% MFU。DDP、FSDPv2、DTensor 原生可用,不再被锁在单程序多数据的执行模型里。
但私有化部署用不上它
这是最该说清的一点:开源的只是软件栈,芯片买不回来。TPU 只能从 Google Cloud 按需租用,TorchTPU 解决的是云上不必再为 CUDA 重写代码,而不是机房里多了一块新卡。如果数据必须留在本地、要过等保、要跑离线批推理,TorchTPU 进不了候选清单,GPU 与昇腾仍是唯一解——预算科目里它顶多是云端弹性这一行,不是自有算力那一行。
那它对国内企业还有什么价值?三点。其一,vLLM-TorchTPU 与 SGLang-TorchTPU 保留了上游的 worker、scheduler 和 OpenAI 兼容接口,说明把一个成熟推理栈原生化可以不破坏运维习惯;同样的路径对昇腾、寒武纪成立,卡的是可用性而非性能。其二,后端中立第一次给了算力议价的技术前提:同一份 PyTorch 代码在 GPU、TPU、Trainium 上都能跑,云厂商的折扣才有比较基准。其三,选型要按 MFU 折算而不是看峰值:若自有集群实测 MFU 40%,对标 52% 的官方口径,同有效算力需要多备约 1.3 倍芯片;若 DeferAndFuse 中值约 +75% 的融合收益能复刻到自有栈,等于不动硬件就收回一半以上的框架层损耗。
落地清单怎么写
一是算力来源,TPU 只在公有云,签合同前先把数据出境与等保条款谈清;二是框架层,行业统计称 85% 的人工智能应用基于 PyTorch,原生后端意味着这部分代码几乎零改写;三是边缘侧,LiteRT 已并入 PyTorch 生态,同一份模型可继续下推到手机、工控机与车载设备;四是留退路,从 vLLM 切到 vLLM-TorchTPU 只换后端不换接口,回退成本可控,这也是评估新技术时最该写进方案的一行。
结论:TorchTPU 是一次软件层解绑,不是硬件替代。对租云的企业是迁移成本下降,对自建机房的企业是一份可抄的架构参考——真正的门槛从来不是框架,而是算力能不能落在自己的机柜里。
来源:Google Cloud Blog、pytorch.org 官方博客、PyTorch Conference 2026 议程,TechTimes 与 IT之家转述(2026-10-20 至 10-21)