OnvergeAI·临界智能
TOOLS · 临界智能

公开实测基准库:推理吞吐 / 量化精度 / chunk 召回 / 向量库 QPS

只收录能写明引擎、显卡、量化与工作负载口径的一手实测:70B/8B/405B 推理吞吐、chunk 长度与召回率关系、向量库 1M/10M 规模 QPS 与召回,并给出自部署的成本结构与利用率临界点。数据可下载 JSON / CSV。

吞吐实测条目
9 组
向量库系统
7 个
chunk 召回数据点
2 个
可复现工具
3 套

一、推理吞吐实测(70B / 8B / 405B × FP4 / FP8)官方实测

来源为 NVIDIA TensorRT-LLM 官方性能文档。口径:权重经 ModelOpt 量化,无限请求速率下的最大吞吐,指标为总输出吞吐 tokens/s;ISL/OSL 为输入/输出长度。这是吞吐上限,不是单请求延迟曲线。

模型 / 量化GPU(TP)128 / 1281024 / 20482048 / 20485000 / 500
Llama 3.3 70B FP4B200 (TP1)10,613.846,546.614,528.481,427.44
Llama 3.3 70B FP4GB200 (TP1)11,100.977,922.885,326.771,502.44
Llama 3.3 70B FP8H100 (TP2)6,092.283,785.042,785.53865.55
Llama 3.3 70B FP8H200 (TP2)6,327.985,480.443,775.80978.28
Llama 3.1 8B FP8H100 (TP1)26,401.4813,165.919,462.433,276.47
Llama 3.1 8B FP8H200 (TP1)27,027.8016,057.6611,822.143,758.08
Llama 3.1 405B FP8H100 (TP8)未发布3,237.412,216.55579.05
Llama 3.1 405B FP8H200 (TP8)未发布3,609.502,840.86645.26
Llama 4 Maverick FP8H200 (TP8)未发布16,859.4512,800.895,128.60
口径边界:该文档不含 RTX 消费级显卡、不含 AMD,也不给「并发数 × P99 延迟」曲线。延迟数据需另取 vLLM / MLPerf 口径,本站不混用两套数据。
出处:NVIDIA TensorRT-LLM 性能文档 nvidia.github.io/TensorRT-LLM/performance/perf-overview.html(抓取 2026-11-12)

二、量化精度损失与提速(FP8 / INT8 / INT4)研究结论

结论先说:「三档量化在同一评测集上的精度损失」这张表,公开数据源拼不出来。2026-11-03 的研究逐项审计 Qwen2.5-14B、Qwen3-14B、Gemma 3 12B、Phi-4、Mistral NeMo、Ministral 3 14B、gpt-oss-20b 的公开量化记录后给出:

① 同时具备 vLLM 计时与精度分数的 checkpoint 只有两个,都是 Gemma 3 12B 的 INT4 构建,且精度只覆盖单一 MMLU 学科(正是 AWQ 校准的那一科);
② batch-1 计时早于当前引擎版本;AMD 与 Intel Gaudi 在该参数带没有任何计时;FP4 没有对 BF16 的计时;
③ 多数公开精度差(含全部 HumanEval)落在基准采样噪声内;
④ 速度规律可用:小 batch 解码受显存带宽限制,4bit 权重约 2 倍速(Qwen2.5-14B on A100 = 2.12×);大 batch 转为 compute-bound 后增益消失(Gemma 3 12B batch 256 仅 1.02×),此时 FP8 仍有效。

本站口径:不引用拼接而成的精度差数字。要这列数据只有一条路——固定评测集、固定 prompt 模板、固定解码参数,三档权重重跑自测;暂无对外数据。
出处:Twice as Fast, Until It Isn’t: Quantized Serving of Mid-Size Open LLMs,arXiv:2611.04380(2026-11-03)arxiv.org/abs/2611.04380

三、chunk 大小与召回率论文实测

长文档检索数据集中,切块大小对 Recall@1 的影响(同一检索器、同一数据集):

数据集文档规模64 tokens1024 tokens观察
TechQA平均 7,597 tokens/文档4.8%71.5%小切块在长答案、强结构化文本上召回极差,放大切块后大幅改善
限制:英文数据集、固定大小切分、单篇论文。中文合同/制度文档不能直接套用这条曲线,需自测(同一份文档切 256 / 512 / 1024 三档跑召回)。
出处:Rethinking Chunk Size for Long-Document Retrieval: A Multi-Dataset Analysis,arXiv:2505.21700v2(2025-05-29)arxiv.org/abs/2505.21700

四、向量库 QPS / P99 延迟 / 召回第三方榜单

1M 数据集(Cohere Medium,1M × 768 维向量),每月 $1,000 成本档:

系统QPSP99 延迟Recall
ZillizCloud-8cu-perf13,316.232 ms0.9383
Milvus-16c64g-sq4u-fp169,575.692.3 ms0.9189
Milvus-16c64g-sq85,9732.4 ms0.9192
OpenSearch-16c128g3,055.017.2 ms0.9066
ElasticCloud-8c60g2,353.8917.1 ms0.9143
QdrantCloud-16c64g1,242.436.4 ms0.9474
Pinecone-p2.x8-1node1,146.5313.7 ms0.9262

10M 数据集(Cohere Large),静态查询 vs 持续写入(90% 数据容量):

系统静态 QPS写入 500 行/s写入 1000 行/sRecall
ZillizCloud-8cu-perf7,3852,1191,8600.9384
Milvus-16c64g-sq82,7473061560.9204
ElasticCloud-8c60g1,45261.6761.820.9042
Pinecone-p2.x8-1node1,131367.4369.70.9024
OpenSearch-16c128g505.7161.7149.70.9068
QdrantCloud-16c64g446.9393.8347.60.9357
披露:榜单由 Zilliz(Milvus 商业方)维护,Milvus 侧存在主场优势;测试工具 VectorDBBench 开源,可自测复现。选型请以自有数据规模与写入压力复测为准。
出处:VectorDBBench 榜单 zilliz.com/vdbbench-leaderboard(抓取 2026-11-12)

五、自部署的成本结构:token 不是计价单位口径纠正

私有化部署不按 token 收费,token 输出本身没有价格。自部署买的是「容量」不是「token 用量」,和云 API 的计费维度根本不同,所以不存在「自部署的 token 单价」这回事。硬要比,只能比「每百万 token 的当量成本」,并且必须写清利用率假设——利用率不同,答案能从「API 的千分之一」变成「比 API 贵」。

成本项性质说明
GPU / 服务器 / 机房资产,不随 token 变动一次性或分期,按 3–5 年折旧;采购价实时变动,以当日硬件报价为准
电费唯一随用量线性变化的项GPU 功耗 × PUE × 电价;这是自部署的「token 边际成本」
运维人力固定投入部署运维、监控告警、每年 2 次应用场景微调(本站运维费占合同总价 50%)
存储 / 带宽半固定内网为主,公网出口按业务量;向量库与日志留存另计

算例一:只算电费(token 边际成本) 口径:H100 SXM 700W、PUE 1.3、电价 0.7 元/kWh、满负载 24 小时 → 单卡 21.84 kWh/天 ≈ 15.29 元/天。

场景配置实测吞吐日产出电费/天元/百万 token
Llama 3.3 70B FP82 × H100 (TP2)6,092 tok/s526 M30.58 元0.058
Llama 3.1 8B FP81 × H100 (TP1)26,401 tok/s2,281 M15.29 元0.0067
吞吐取本页第一节的官方实测值;电费按满负载连续跑算,实际利用率越低,这个「边际成本」越没有意义。

算例二:全成本(折旧 + 电费 + 运维) 2 × H100、卡价 24 万元/张、3 年折旧、8 卡集群配 40 万/年运维 → 折旧 438 + 电费 31 + 运维 274 = 743 元/天。

统计口径元/百万 token含义
仅电费(边际成本)0.058已投产的卡,多跑一个 token 只多花这点电费
全成本 · 满负载1.41卡一直打满,含折旧与运维
全成本 · 50% 利用率2.82多数企业真实水平

和 API 怎么比才对:云 API 是「按 token 计费、零固定投入」,自部署是「固定投入、token 边际≈0」,两个维度不能直接相减。只能按当量比:

· 边际成本口径:8B 高吞吐场景 0.0067 元/百万,是 10 元/百万 API 的 1/1,500 量级(这就是「不到千分之一」成立的地方);70B 0.058 元/百万,是 10 元 API 的 1/170、30 元 API 的 1/500。
· 全成本口径:1.4–2.8 元/百万,是主流 API 的 1/3–1/10,不是千分之一。
· 临界点:按本算例,全成本 1.41 元/百万 ÷ API 10 元/百万 → 利用率低于约 15% 时,自部署的当量单价反而高于 API(对 30 元 API 的临界点约 5%)。

所以选型结论不是「自部署 token 更便宜」,而是:利用率高 + 用量大时自部署便宜一个数量级;利用率低时省不下来。真正决定自部署的通常是数据不出内网、可微调、可审计、无供应商锁定、端到端延迟可控——这些 API 给不了。
价格与电价均随时间变动:卡价见 硬件与算力卡 当日报价,电价按当地工商业电价代入上面的公式重算,本站不提供固定单价。
查看当日算力卡价格 按项目估算部署预算 算显存与卡数

六、数据下载与复现

本页所有数字提供机器可读版本,便于对比与引用:

复现工具:TensorRT-LLM 自带 trtllm-bench;向量库用 VectorDBBench(开源);检索召回用同一检索器 + 同一评测集切三档。本站不做「未标明引擎与负载」的数据引用。
抓取与整理:2026-11-11/12。数据随上游文档更新,引用时请以原始出处为准;本站标注的口径(引擎、显卡、量化、工作负载)是引用前提,去掉口径的数字不具可比性。

先做一次 30 分钟的需求梳理

说出你的行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。