8GB 装下 7.5 万个挂起智能体:Infinity 开源,自建中台的采购表要多一栏并发密度

行业新闻 · 丁香 · 发布 2026-10-24 · 阅读 38

被忽略的一栏:一个并发智能体占多少内存

10 月 23 日,AWS 与加州大学伯克利分校合作的 Hydro 项目把 Infinity 以 Apache 2.0 协议开源。它不是模型,也不是网关,而是智能体运行时:把每一次工具调用当作挂起点,把会话历史存成续体,结果回来再从断点续跑。官方口径下,一个等待中的智能体只是纯数据——没有任务、没有栈、没有打开的连接,20 轮工具调用之后约占 103KB,于是 7.5 万个挂起智能体可以塞进树莓派 5 的 8GB 内存。官方基准页写得更细:8 万个智能体吃到 8.4GB,累计 320 万次 completion,单线程、内存态存储。

密度差二千三百倍,采购表从卡挪到内存

多数企业自建的智能体还是一进程一智能体:模型调用、工具调用、等待返回,全都堵在同一个进程里。按常驻工作进程 250MB 估(这是本文的测算假设,不是官方数字),8GB 内存只放得下 32 个;而 Infinity 的实测口径是 7.5 万个,密度差大致在二千三百倍量级。换成具体预算:1000 个并发智能体,常驻口径要 250GB 内存,也就是四台 64GB 机型;Infinity 口径是 103MB,一台 8GB 机器就够。这条差距对自建中台的意义,比再买两张卡大得多——智能体并发是内存与调度维度的事,不是显存维度的事。反过来也成立:显存买得再多,并发层按错口径扩容,钱一样会沉在机房里。

成本搬家:从占着进程等到按切片付费

真正省钱的地方在等待时长。一次构建二十分钟、一次审批过夜、一次回调隔天才触发,常驻进程这段时间照样吃内存;Infinity 在派发工具后直接结束这一段,结果到达再唤醒。落到云上就是按 SQS FIFO 每次投递触发一次:加载状态、跑一次 completion、派发工具、退出。等待三天也几乎不产生计算费用,这是把闲置从计费项里划掉了。代价是账算到了另外三处:一是状态存储,10 万个智能体的会话约 10.3GB,存储本身不贵;二是消息队列与投递语义,重复投递必须幂等,否则同一张工单会被改两次;三是顺序保证,同一条 thread 的事件不能乱序。这些是工程量,不是规模费,人力预算要跟着挪。

自建验收,三栏必须先谈

第一栏是内存口径。厂商给的每智能体内存,要问清是几轮工具调用、单线程还是多线程、内存态存储还是持久化库——官方那个 103KB 是内存态存储的实验室数据,换成真实数据库,写放大与序列化开销都会把数字抬起来,签合同前至少自测一遍 20 轮的工具调用分布。第二栏是并发写入,同一 thread 的事件顺序与状态版本控制要写进可用性条款,而不是留给运维口头约定。第三栏是可观测性,监控粒度要从 HTTP 请求改成切片边界,否则一次工具等待跨越多次函数执行,排障会失去对齐点。另外它兼容 MCP,既有工具不必重写,但 RAP 这类新协议还在早期,不要写进关键路径。

一句话结论

Infinity 官方自己承认是早期研究版本,没有 SLA、没有托管服务。对正在做私有化中台的团队,合理动作是旁路跑一个千级并发的分诊或持续集成场景,量出自己真实的每智能体内存,再决定并发层预算单列多少:GPU 预算留给推理切片,内存、队列、状态库单独一栏。这是这轮开源给出的最实用的一条采购提示,也是把它从技术演示变成预算项的唯一路径。

来源:AWS Open Source Blog《Introducing Infinity: a runtime for extreme agent concurrency》(2026-10-23)、Infinity 官方基准页;并发密度亦见 Stackademic 独立复述(约 100KB/挂起智能体)。