公开实测基准库:推理吞吐 / 量化精度 / chunk 召回 / 向量库 QPS
只收录能写明引擎、显卡、量化与工作负载口径的一手实测:70B/8B/405B 推理吞吐、chunk 长度与召回率关系、向量库 1M/10M 规模 QPS 与召回,并给出自部署的成本结构与利用率临界点。数据可下载 JSON / CSV。
一、推理吞吐实测(70B / 8B / 405B × FP4 / FP8)官方实测
来源为 NVIDIA TensorRT-LLM 官方性能文档。口径:权重经 ModelOpt 量化,无限请求速率下的最大吞吐,指标为总输出吞吐 tokens/s;ISL/OSL 为输入/输出长度。这是吞吐上限,不是单请求延迟曲线。
| 模型 / 量化 | GPU(TP) | 128 / 128 | 1024 / 2048 | 2048 / 2048 | 5000 / 500 |
|---|---|---|---|---|---|
| Llama 3.3 70B FP4 | B200 (TP1) | 10,613.84 | 6,546.61 | 4,528.48 | 1,427.44 |
| Llama 3.3 70B FP4 | GB200 (TP1) | 11,100.97 | 7,922.88 | 5,326.77 | 1,502.44 |
| Llama 3.3 70B FP8 | H100 (TP2) | 6,092.28 | 3,785.04 | 2,785.53 | 865.55 |
| Llama 3.3 70B FP8 | H200 (TP2) | 6,327.98 | 5,480.44 | 3,775.80 | 978.28 |
| Llama 3.1 8B FP8 | H100 (TP1) | 26,401.48 | 13,165.91 | 9,462.43 | 3,276.47 |
| Llama 3.1 8B FP8 | H200 (TP1) | 27,027.80 | 16,057.66 | 11,822.14 | 3,758.08 |
| Llama 3.1 405B FP8 | H100 (TP8) | 未发布 | 3,237.41 | 2,216.55 | 579.05 |
| Llama 3.1 405B FP8 | H200 (TP8) | 未发布 | 3,609.50 | 2,840.86 | 645.26 |
| Llama 4 Maverick FP8 | H200 (TP8) | 未发布 | 16,859.45 | 12,800.89 | 5,128.60 |
二、量化精度损失与提速(FP8 / INT8 / INT4)研究结论
结论先说:「三档量化在同一评测集上的精度损失」这张表,公开数据源拼不出来。2026-11-03 的研究逐项审计 Qwen2.5-14B、Qwen3-14B、Gemma 3 12B、Phi-4、Mistral NeMo、Ministral 3 14B、gpt-oss-20b 的公开量化记录后给出:
① 同时具备 vLLM 计时与精度分数的 checkpoint 只有两个,都是 Gemma 3 12B 的 INT4 构建,且精度只覆盖单一 MMLU 学科(正是 AWQ 校准的那一科);
② batch-1 计时早于当前引擎版本;AMD 与 Intel Gaudi 在该参数带没有任何计时;FP4 没有对 BF16 的计时;
③ 多数公开精度差(含全部 HumanEval)落在基准采样噪声内;
④ 速度规律可用:小 batch 解码受显存带宽限制,4bit 权重约 2 倍速(Qwen2.5-14B on A100 = 2.12×);大 batch 转为 compute-bound 后增益消失(Gemma 3 12B batch 256 仅 1.02×),此时 FP8 仍有效。
三、chunk 大小与召回率论文实测
长文档检索数据集中,切块大小对 Recall@1 的影响(同一检索器、同一数据集):
| 数据集 | 文档规模 | 64 tokens | 1024 tokens | 观察 |
|---|---|---|---|---|
| TechQA | 平均 7,597 tokens/文档 | 4.8% | 71.5% | 小切块在长答案、强结构化文本上召回极差,放大切块后大幅改善 |
四、向量库 QPS / P99 延迟 / 召回第三方榜单
1M 数据集(Cohere Medium,1M × 768 维向量),每月 $1,000 成本档:
| 系统 | QPS | P99 延迟 | Recall |
|---|---|---|---|
| ZillizCloud-8cu-perf | 13,316.23 | 2 ms | 0.9383 |
| Milvus-16c64g-sq4u-fp16 | 9,575.69 | 2.3 ms | 0.9189 |
| Milvus-16c64g-sq8 | 5,973 | 2.4 ms | 0.9192 |
| OpenSearch-16c128g | 3,055.01 | 7.2 ms | 0.9066 |
| ElasticCloud-8c60g | 2,353.89 | 17.1 ms | 0.9143 |
| QdrantCloud-16c64g | 1,242.43 | 6.4 ms | 0.9474 |
| Pinecone-p2.x8-1node | 1,146.53 | 13.7 ms | 0.9262 |
10M 数据集(Cohere Large),静态查询 vs 持续写入(90% 数据容量):
| 系统 | 静态 QPS | 写入 500 行/s | 写入 1000 行/s | Recall |
|---|---|---|---|---|
| ZillizCloud-8cu-perf | 7,385 | 2,119 | 1,860 | 0.9384 |
| Milvus-16c64g-sq8 | 2,747 | 306 | 156 | 0.9204 |
| ElasticCloud-8c60g | 1,452 | 61.67 | 61.82 | 0.9042 |
| Pinecone-p2.x8-1node | 1,131 | 367.4 | 369.7 | 0.9024 |
| OpenSearch-16c128g | 505.7 | 161.7 | 149.7 | 0.9068 |
| QdrantCloud-16c64g | 446.9 | 393.8 | 347.6 | 0.9357 |
五、自部署的成本结构:token 不是计价单位口径纠正
私有化部署不按 token 收费,token 输出本身没有价格。自部署买的是「容量」不是「token 用量」,和云 API 的计费维度根本不同,所以不存在「自部署的 token 单价」这回事。硬要比,只能比「每百万 token 的当量成本」,并且必须写清利用率假设——利用率不同,答案能从「API 的千分之一」变成「比 API 贵」。
| 成本项 | 性质 | 说明 |
|---|---|---|
| GPU / 服务器 / 机房 | 资产,不随 token 变动 | 一次性或分期,按 3–5 年折旧;采购价实时变动,以当日硬件报价为准 |
| 电费 | 唯一随用量线性变化的项 | GPU 功耗 × PUE × 电价;这是自部署的「token 边际成本」 |
| 运维人力 | 固定投入 | 部署运维、监控告警、每年 2 次应用场景微调(本站运维费占合同总价 50%) |
| 存储 / 带宽 | 半固定 | 内网为主,公网出口按业务量;向量库与日志留存另计 |
算例一:只算电费(token 边际成本) 口径:H100 SXM 700W、PUE 1.3、电价 0.7 元/kWh、满负载 24 小时 → 单卡 21.84 kWh/天 ≈ 15.29 元/天。
| 场景 | 配置 | 实测吞吐 | 日产出 | 电费/天 | 元/百万 token |
|---|---|---|---|---|---|
| Llama 3.3 70B FP8 | 2 × H100 (TP2) | 6,092 tok/s | 526 M | 30.58 元 | 0.058 |
| Llama 3.1 8B FP8 | 1 × H100 (TP1) | 26,401 tok/s | 2,281 M | 15.29 元 | 0.0067 |
算例二:全成本(折旧 + 电费 + 运维) 2 × H100、卡价 24 万元/张、3 年折旧、8 卡集群配 40 万/年运维 → 折旧 438 + 电费 31 + 运维 274 = 743 元/天。
| 统计口径 | 元/百万 token | 含义 |
|---|---|---|
| 仅电费(边际成本) | 0.058 | 已投产的卡,多跑一个 token 只多花这点电费 |
| 全成本 · 满负载 | 1.41 | 卡一直打满,含折旧与运维 |
| 全成本 · 50% 利用率 | 2.82 | 多数企业真实水平 |
和 API 怎么比才对:云 API 是「按 token 计费、零固定投入」,自部署是「固定投入、token 边际≈0」,两个维度不能直接相减。只能按当量比:
· 边际成本口径:8B 高吞吐场景 0.0067 元/百万,是 10 元/百万 API 的 1/1,500 量级(这就是「不到千分之一」成立的地方);70B 0.058 元/百万,是 10 元 API 的 1/170、30 元 API 的 1/500。
· 全成本口径:1.4–2.8 元/百万,是主流 API 的 1/3–1/10,不是千分之一。
· 临界点:按本算例,全成本 1.41 元/百万 ÷ API 10 元/百万 → 利用率低于约 15% 时,自部署的当量单价反而高于 API(对 30 元 API 的临界点约 5%)。
六、数据下载与复现
本页所有数字提供机器可读版本,便于对比与引用:
trtllm-bench;向量库用 VectorDBBench(开源);检索召回用同一检索器 + 同一评测集切三档。本站不做「未标明引擎与负载」的数据引用。