OnvergeAI·临界智能
TOOLS · 临界智能

POC 合格线:大模型项目验收的四条硬指标

POC 四条合格线:问答准确率 ≥85%(≥200 题人工标注)、Recall@5 ≥90% 且 MRR ≥0.75、首 token 延迟 P95 ≤2s 且单请求 ≥20 tok/s、连续 8 小时零 OOM 且错误率 <0.5%;四条同时达标才算通过,门槛只可上调。

问答准确率
≥ 85%
检索 Recall@5
≥ 90%
首 token 延迟 P95
≤ 2 s
连续压测
8 h 零 OOM

一、四条合格线与测量方法

类别合格线怎么测(口径必须写进验收单)不达标处置
效果 · 问答准确率 ≥ 85% 业务真实问题集,≥ 200 题人工标注(答案要点 + 判定标准),固定 prompt 模板与解码参数;同一批题同时跑基座与微调版本,记录提升幅度 补数据 / 调 RAG / 换更大模型,重跑同一题集;不靠换题集达标
效果 · 检索质量 Recall@5 ≥ 90%
MRR ≥ 0.75
同一份知识库,标注 100 条以上「问题 → 应命中片段」;测 embedding + 切块 + 重排整条链路,不用单测 embedding 代替 切块大小三档对比(256/512/1024)、加重排、换 embedding 或混合检索
性能 · 延迟与吞吐 首 token P95 ≤ 2 s
单请求 ≥ 20 tok/s
目标并发(按业务峰值,常见 8–32)下压测,记录 TTFT P50/P95、TPOT、输出吞吐;内网无外网出口环境测,不能用云 API 数据代替 调 batch 与并行度、换量化精度(FP8/INT4)、加卡或换卡型
稳定性 · 压测 连续 8 h 零 OOM
错误率 < 0.5%
目标并发持续打流 8 小时(含长上下文与超长输入用例),监控显存曲线、GPU 利用率、队列长度、5xx 与超时 限制上下文/并发、修 KV 缓存配置、加显存或分模型部署
四条线是同时达标才算通过。「效果好但慢」「快但召回差」都不算过。

二、样本量与统计口径

① 问答准确率 200 题是下限:题量越少,置信区间越宽,200 题下 85% 的 95% 置信区间约 ±5 个百分点,低于 200 题的结论只能当趋势看。
② 检索标注 100 条是下限,需覆盖长文档、表格截图、跨段落、同义改写四类难例。
③ 延迟只认 P95,不认「平均」:平均值会被少量快请求拉低,掩盖长尾。
④ 稳定性必须带长上下文用例:短请求压 8 小时不 OOM,不代表 128K 上下文不 OOM。

以上为默认口径;项目有行业监管要求(金融、医疗、政务)时,题量、留痕与复核要求按行业规范上调。

三、合格之后

PoC 通过≠上线完成:还要过交付验收(17 项材料)、SLA 与运维范围(运维费占合同总价 50%,含每年 2 次应用场景微调)。

本页门槛为本站默认基线(2026-11 定稿),与具体项目的合同验收条款冲突时,以合同附件为准。

先做一次 30 分钟的需求梳理

说出你的行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。