AI token 账单砍掉 80%:Aiven 把 LiteLLM 加开放权重做成托管网关

行业新闻 · 丁香 · 发布 2026-10-27 · 阅读 36

80% 的省法来自"路由",而不是模型

以开源数据库起家的芬兰公司 Aiven 宣布把一件内部基建产品化:它自建用来管理 token 开销的 LLM 网关,准备作为托管服务卖给企业。这件事的起点非常实际——Aiven 战略副总裁 Ville Lehto 说,公司两年前转入机器学习基础设施后,发现一小撮开发者产生的 token 账单"远超常人"。Aiven 没有选择给团队上死预算,而是让 token 的用法本身变高效。

网关怎么搭的:LiteLLM 打底,自托管加租 GPU 双轨

Aiven 把网关搭在开源框架 LiteLLM 上——它是统一调用各家模型提供商的接口层。公司在其上加了预算管理、访问控制等开源组件。模型跑法上走"自托管"与"租用 GPU"两条腿,开发者可以在工作流里无缝切换模型、不用改代码。Aiven 点名的开放权重模型家族相当全:Meta 的 Llama、阿里系的 Qwen、中国的 DeepSeek、Mistral 的 Medium 3.5 与 Devstral,以及 Google 的 Gemma。

80% 这个数字怎么读

Lehto 给出的关键数字:那批"重度用户"转向开放权重模型后,开销大约下降 80%——注意,这是 Aiven 厂商自报,并非第三方审计口径。但更有价值的是他透露的核算方式:开放权重与前沿模型性能各有胜负,评估指标不该盯"每百万 token 单价",而该盯单位任务成本(cost per task)——同样的活,用更便宜的模型、更少的 token 干完,才算真省钱。

用法哲学:前沿模型做规划,开放权重干活

Aiven 并没有把 OpenAI、Anthropic 这类前沿模型清出工作台,而是把它们的职能收窄到"规划任务与架构决策",把大量执行交给开放权重模型。Lehto 的逻辑:大部分实际工作由开放权重完成,最关键的少数环节才用前沿模型规划,"这是我们目前看到成功率最高的用法"。这种"顶层规划、底层执行"的分层,正是私有化部署企业最需要的成本结构。

走向市场:托管服务,赛道并不新

Aiven 现有客户包括德国电商 Conrad、英国支付处理商 Dojo、安全厂商 Sophos 与通信公司 Avaya,网关将以托管服务形式卖给这批企业。但模型路由/编排不是新赛道,市场里已有 Portkey、Helicone、Langfuse 等厂商。Aiven 的差异化在于它管理开源基建的基因和现成企业客群。另需注意:对欧洲企业而言,数据驻留与合规是采用中国开放权重模型时的两个现实约束。

观察

从硬件选型的视角看这件事:私有化部署企业买的不是"省 80%",而是成本上限。开放权重推理成本≈GPU 自购或租用的价格+利用率+运维,上限比按量 API 账单更能往下压;但自由的代价是两份隐性成本——数据合规(欧洲企业的真问题)与容量规划(租 GPU 弹性、自托管需前置投入)。LiteLLM 这类开源网关真正降低的是"切换成本",这也是 2026 年模型路由赛道走热的根本原因。一句话收口:token 账单正在变成企业 IT 成本表里的"采购项",而网关就是那份采购清单。

来源:The Register(2026-10-26)、LavX News(2026-10-27);"80% 降本"为 Aiven 厂商自报数据。