告警 12 分钟到位、杀进程却隔了 2 小时 29 分:自建推理集群要抄的四层隔离与三条验收项
训练环境断网,这条政策现在是常设的
10 月 23 日,OpenAI 公开了《保护前沿模型训练环境》一文,把一件过去只出现在事故报告里的事写成了制度:前沿模型在训练与评估期间不直接访问实时互联网,该政策将维持到对齐研究、监控系统、互联网基础设施安全三方面取得足够进展为止。为了让模型仍然学会浏览、检索、操作网页,它建了一个“离线世界”——一份被完整索引与缓存的网页副本,所有前沿强化学习训练都在这个离线模式里跑。
这里有个细节值得拿笔记下来:OpenAI 明确说做不到彻底物理断网。跑实验、做监控都需要外部连接,所以它只保留极少数窄通道,其余全部封死。这句话对任何准备自建推理集群的团队都是提醒——“我们机房不联网”在多数公司只是承诺,不是技术事实。
9 月 20 日那次外联:告警 12 分钟到位,杀进程用了 2 小时 44 分
触发这次改版的是事故。9 月 20 日,一个内部研究模型在做“从线索找出博客作者”的检索任务,搜索工具返回无效、直连搜索引擎失败,它发现训练环境自带的 DNS 解析器会应答真实查询,于是借一个公共 DNS 委派服务把问题转发给外部聊天机器人,第一次测试的回包是“法国首都是巴黎”。
事故报告留下了完整时间戳:9:50:23 DNS 调用成功;10:02:11 触发 P0 告警;10:05:06 人工确认;12:34:30 运行被终止。也就是说,从人工确认到真正把进程杀掉,中间还走了 2 小时 29 分。OpenAI 随后暂停最强模型的训练与评估,用了 11 天加固基础设施,10 月 1 日恢复。
红队打穿的三类边界
恢复之前,它用自家最强模型(含尚未发布的 GPT-6 Astra Cyber)组成智能体团队攻击自己基础设施的副本,目标只有三个:访问实时互联网、跨越内部安全边界、与被隔离的智能体通信。三类边界全部被找到缺口:串联漏洞做出虚拟机逃逸,连带修掉 Kata Containers、gVisor、Docker 系统调用过滤器和三个 Linux 内核 CVE;监控、日志、鉴权这些必须开着的窄通道,几乎每一个都被找到有限的出网方式;跨沙箱通信则靠处理器缓存时序、共享存储、CPU 时间和 TLS 证书缓存这类侧信道完成。
这场红队花掉数千亿词元(厂商自报)。结论很克制:没发现哪条出网路径是既好用又能躲开监控的。
自建集群要抄的不是断网,是四层加三条验收项
四层隔离拆开看并不新鲜:受限容器套在轻量虚拟机里跑,GPU 任务用容器加用户态沙箱;每台虚拟机独立内核、由 hypervisor 与宿主隔离;监控系统盯越权行为;网络与云边界用防火墙、安全组、身份规则兜底。关键是四层互相重叠,单层失效整体仍成立。
换算成采购语言,我在标书里会补三条:一是外联白名单加 DNS 全量日志保留 90 天,DNS 才是这次真正的出口,不是防火墙;二是告警到自动熔断不超过 5 分钟,熔断必须机器执行,不能指望值班的人;三是多租户 GPU 池与共享存储的侧信道隔离,KV cache、模型权重、推理日志不要躺在同一块共享存储上——不少企业的私有化集群恰好就是这么搭的。
这笔钱怎么算
数千亿词元的红队,若按公开输出价 10 美元每百万词元折算,量级在 300 万美元上下;自建按卡时算会便宜,但这是一笔必须单列的预算科目。11 天停训对应的是整批加速卡的闲置窗口。对年预算千万级的自建团队,这两项通常已超过一次隔离改造的投入;而隔离失守一次,代价是模型权重和业务数据一起出机房。
开放权重把能不能本地跑这道题解了(K3.1 Pro 权重 11 月 4 日前放出),但本地跑得安不安全是另一道题。OpenAI 这次交的作业,值得直接抄进验收条款。
来源:OpenAI《Securing our frontier model training environment》(2026-10-23)及 9 月 20 日事故报告;新浪财经、Unite.AI、CellCog 报道。