1 张 B200 顶掉 22 张卡:Liquid RIPL 把实时推理的容量账改成硬件口径
一、先看它抢的是哪一类请求
10 月 22 日,Liquid AI 发布 RIPL(Real-time Inference Pipeline),把自家 LFM2.5 系列(230M 到 2.6B 参数)塞进实时请求路径,官方口径是端到端完整响应落在 50 毫秒以内,并且在持续峰值流量下不掉档。可部署硬件写明四档:NVIDIA H100、H200、B200、RTX PRO 6000。定位要先说清:它不是去替代 vLLM 跑大模型,而是抢走那些原本交给梯度提升树和小 embedding 模型的活——搜索意图分类、召回重排、支付风控、广告改写。企业过去不上生成式模型,不是不想用,是延迟预算不够。
二、单卡 B200 的四个形状,两个进 50ms 两个进不去
官方给出的实测口径是单张 B200、开放环泊松到达下的 p95 端到端延迟。四个形状摆在一起,结论并不整齐:
1B 级、32 进 32 出、每秒 1000 请求:LFM2.5-1.2B 在 RIPL 上 p95 为 34.6 毫秒,对面 Qwen3.5-0.8B 跑 vLLM 是 498 毫秒,差 14.4 倍。
1B 级、256 进 128 出、每秒 400 请求:155.8 毫秒对 4431 毫秒,差 28.4 倍。
2B 级、32 进 32 出、每秒 1000 请求:76.4 毫秒对 586.8 毫秒,差 7.7 倍。
2B 级、256 进 128 出、每秒 300 请求:449.1 毫秒对 2499 毫秒,差 5.6 倍。
最有信息量的一点不是最大倍数,而是最大倍数那一行的绝对值:28.4 倍换来的是 155.8 毫秒,仍然进不了 50 毫秒的门。换句话说,sub-50 只在短形状、短输出成立;请求一长,宣传口径立刻失效。第三条和第一条对照更值得记:2B 级短请求 76.4 毫秒,比 1B 级短请求的 34.6 毫秒慢一倍多,参数每翻一档,延迟预算就要重算。
三、把毫秒换算成卡数,才是私有化的真实账单
延迟指标在企业采购里必须换算成硬件数量才有意义。按线性外推的下限算:要守住 50 毫秒的 p95,对面 498 毫秒的 vLLM 方案需要约 10 张同型号卡才能顶掉 1 张 RIPL 卡;把形状换成 256 进 128 出、预算放宽到 200 毫秒,4431 毫秒要压进 200 毫秒,粗算要 22 张卡对 1 张。排队论里延迟随负载是超线性上升的,真实排队只会更糟,所以这两个倍数都是下限。同型号卡之间,卡数倍数就是账单倍数:22 倍的机时、22 倍的机柜位、22 倍的电力与运维工时。这是私有化部署最常被低估的一笔账——延迟预算从来不是软件参数,它是硬件采购量。
四、Shopify 已在生产跑,但真正该记的是参数量
Liquid 称 Shopify 正在延迟敏感的电商链路上生产部署 LFM,搜索增强场景的推理在 20 毫秒以内,参数量比替代方案少约 50%,速度快 2 到 10 倍且不牺牲质量。对做电商的团队,这条比跑分值钱:实时链路里,模型变大的边际收益远低于延迟变慢的边际损失。先把参数量砍到够用,再谈能力上限,顺序反了就是把预算烧在用户感知不到的地方。
五、选型判断:三条线,两个风险
延迟预算低于 50 毫秒、形状短(意图分类、单 token 判定、召回重排):值得把这类负载从通用 GPU 推理栈里拆出来单跑,硬件优先 RTX PRO 6000 或单卡 B200,不必进数据中心,机柜位和电力就能省一层。
预算 100 到 200 毫秒、形状长(支付风控、信贷决策):RIPL 能进,但要按 150 毫秒档做压测,别拿 sub-50 的宣传值做容量规划,否则上线即超卖。
预算秒级、任务型 agent:继续 vLLM 或 SGLang,换引擎的收益覆盖不了迁移和重调优的成本。
风险有两条必须写进方案。其一,上表所有倍数均出自 Liquid 自报,口径是单卡 B200 加开放环泊松到达的自家测试,没有第三方复测,Shopify 的 20 毫秒也只给了结论未给形状。其二,RIPL 是闭源企业版引擎,权重虽在 Hugging Face 开放,但开源权重配闭源引擎的组合意味着延迟优势被供应商锁定,采购要留迁移条款和价格调整条款。
一句观察:实时链路的问题正在从用不用大模型,变成用几毫秒的预算换几个点的准确率。谁先把延迟做成可采购的硬件口径,谁就能拿走这块原本属于风控系统的预算。
来源:Liquid AI 官方博客(2026-10-22)、MarkTechPost 实测表、Shopify 多年度合作公告;性能数据均为厂商自报。