5 个 27B 实例拼出 92.4%:单卡私有化编码,先算吞吐再买卡
先把结论放前面:加一层编排,比换更大的模型便宜
一项针对 100 道最新 LiveCodeBench hard 题、11 个开源与闭源模型的对照实验给出了一个对私有化很不利又很有利的结论:能力可以用推理时的组织方式买,而不一定要用参数买。开源权重的 Qwen3.8-27B 单次调用准确率 66.8%,套上管理层编排后升到 92.4%,提升 25.6 个百分点;闭源旗舰 Fable 5 的单次调用是 90.4%。换句话说,一个 27B 的开源模型,靠三个文本文件加一个循环,把前沿闭源模型的编码准确率超了过去。
三笔账:按趟、按题、按准确率
论文的成本表口径是同一批 100 题跑一趟的原价账单(不计缓存折扣)。Qwen3.8-27B 单次调用 18.95 美元一趟、折 0.28 美元一题;编排档 47.82 美元一趟、折 0.52 美元一题——成本是自身的 1.86 倍,换来 25.6 点准确率。对照 Fable 5 单次:61.11 美元一趟、0.68 美元一题、准确率 90.4%。所以 27B 编排档在准确率高出 2 点的同时,每题只花 Fable 5 的 76.5%。真正把成本压到一成的不是这一档:Qwen3.8 Flash Next 编排档 5.76 美元一趟,是 Fable 5 单次的 9.4%,准确率 93.0%——但那是按 API 价算的,不是自建。
硬件选型:24GB 卡是下限,不是目标
27B 的权重体积很诚实:BF16 约 54GB、FP8 约 27GB、4bit 量化约 13.5GB。24GB 消费卡能塞下 4bit 权重,但只剩 10GB 左右留给 128k 上下文的 KV 缓存和激活;而编排档每一轮都要把 plan 文件(上限 4,000 字符)、notes 文件(上限 8,000 字符)连同当前解重读一遍,上下文只会更胖,并发却极低。要跑得舒服,48GB 级单卡是现实起点,80GB 卡则可以切两个实例并行跑经理与工人,把串行的等待时间填掉——编排的本质是大量短调用串行排队,单实例吞吐损失比大模型推理更明显。
自建成本线:卡在解码吞吐,不在权重体积
编排档一趟 100 题要产出约 1,863 万 token(另加 151 万输入 token),这个量级决定了账怎么算。按单卡 1,500 token/秒、2 美元/卡时推算:3.45 卡时、6.90 美元一趟、6.9 美分一题,相当于 Fable 5 标价的十分之一;如果单卡只有 800 token/秒,成本升到 0.13 美元一题,优势缩到 5 倍多。结论很直接:27B 单卡自建能不能省钱,取决于你的卡实际解码吞吐,而不是 13.5GB 的权重能不能装下。买卡前先压测吞吐,别先看显存条数。
三个必须自己验的前提
第一,增益不普适。论文自己写明有模型编排后不变甚至更差,不同配置下同一个中等模型能出现 -8.0 点与 +43.0 点的分化,照抄架构不等于照抄结果。第二,价格敏感度极高。把 Qwen 系单价上浮到 1.28 倍(仍在托管商价差区间内),编排档相对 Fable 5 的成本优势就完全消失——所以自建决策必须用自己谈下来的真实价,而不是市场最低价。第三,上面的美分单价是推算。它只含模型推理,不含电、机房、运维、失败重跑与验证器排队时间,真实总成本要在此基础上加三到五成。
落地建议
不要在买卡和调 API 之间二选一。先做一次 100 题自有题集的对照:同一权重跑单次调用与三文件编排两条线,记录准确率和 token 数;准确率提升不足 8 点,或每题成本超过现用闭源方案的 70%,就停手。硬件路径建议先租一张 80GB 卡压两周吞吐,再决定买 4bit 单卡还是双卡;同时把 notes 文件当缓存用——固定前缀复用能把 prefill 摊薄,这是大集群那套高缓存命中逻辑的单机简化版,也是自建与 API 真正拉开价差的地方。
来源:arXiv:2608.26480v2(GVS5H,Persis Capital,2026-09-21 修订)及其表 2 成本表(OpenRouter 市场价口径,未计缓存折扣)。