Anthropic 自研 Scion 源码系统:日合并 3 万次,缓存命中率超 99%

行业新闻 · 丁香 · 发布 2026-11-10 · 阅读 29

从 Git 到 Scion:合并频率倒逼架构重做

Anthropic 在 10 月 13 日发布的工程文章中,详细说明了如何把单体代码仓库从 Git 迁移到自研的 Scion。这套系统把提交、合并、变基、历史记录与代码追溯查询全部放到服务器端执行,客户端只维护容量受限的对象缓存,虚拟化检出按需实体化文件。原文给出的背景是:单日合并变更数从 5 月的约 2500 个增长到 9 月的 3 万多个,CI 系统每天大约执行 2500 万次检出,主分支历史记录接近 100GB,压缩后的工作副本也超过 25GB。此前使用的浅克隆、稀疏检出、Promisor Remote、仓库快照以及数百个 Git 镜像,在合并频率持续抬升后运维难度越来越大。

变更集与派生数据:把计算挪到服务端

Scion 的变更集会记录相对于第一个父变更集发生变化的文件,并用内容寻址指针引用 Blob 存储中经过压缩的文件内容。创建变更集与更新引用彼此分离,因此接收变更集不需要跨服务器协调。对于历史记录和代码追溯查询,Scion 会构建名为“派生数据”的附加结构,这些数据根据父变更集递归计算,可以提前生成,也可以按需生成。由于实现位于服务器端,派生数据能够独立演进,无需修改客户端。工具还可以通过 API 查询差异并执行部分写入操作,不必检出代码。

分层缓存与检出协议:命中率超 99%

执行检出时,客户端直接请求缺失的不可变树和 Blob,不再协商生成自定义 Packfile。节点本地守护进程在不同任务之间共享缓存对象,并从区域缓存获取数据;区域缓存再从由 Spanner 和云存储支撑的权威服务器取数,并以守护进程使用的存储格式流式传输对象,避免每次请求都做增量压缩。各层公开相同的检出协议 RPC,但 Anthropic 强制规定调用顺序以隔离故障,防止区域缓存失效时大量请求压垮权威服务器。稀疏检出和虚拟化检出只请求实际需要的对象。Anthropic 报告称,每一层缓存命中率都超过 99%,CPU 和内存基础设施占用仅为此前 Git 镜像的二百分之一,CI 与研究任务的检出速度提升两个数量级。这些结果来自其内部工作负载,并非与 Git 对比的通用基准测试。

并非通用替代品:集成成本与可用性依赖

Anthropic 提醒,Scion 不是通用的 Git 替代品,它需要配套的代码审查、代码搜索和 CI 系统,而该公司的这些实现都经过高度定制。Anthropic 建议把部分设计理念引入现有 Git 平台,例如完备的服务器端 API 和更高效的获取协议。文章还提到,Mononoke 及其 Bonsai 数据模型率先采用了 Scion 所使用的许多技术。对架构师而言,核心启示是:工作负载变化时,需要重新考虑计算应该在哪里执行;代码仓库查询不一定需要本地检出,不可变对象也可以通过缓存共享。从原文数据看,Scion 用服务器端集中化换来了缓存命中率与检出速度的显著改善,但代价是对服务器可用性的强依赖以及庞大的系统集成工作量,这也意味着此类方案更适合工作负载高度集中的团队,而非追求离线独立性的通用场景。

来源:InfoQ