大模型项目失败几乎不在模型本身,而在场景选错、数据不可用、验收标准缺失、边界没写清四类。13 个原因都能在立项与诊断阶段识别,关键是把验收标准提前写死。

13 个高频失败原因是什么?

按出现频率:场景不可量化、数据不可用、验收无标准、边界未定义、许可未核、算力估错、评测集缺失、集成被低估、运维无承接、人工节点缺失、期望管理失败、安全评审滞后、扩容无预留。

1. 场景不可量化

现象是上线后没人用。根因是选了听起来高级而非高频有明确输入输出的任务。早期信号是说不清输入是什么、输出给谁用、错了谁负责。规避动作是用一句话写清输入、输出、使用岗位与错误后果,写不出就换场景。

2. 数据不可用

现象是知识库建完召回率始终上不去。根因是文档为扫描件、格式混乱、版本混杂、权限不清。早期信号是抽查 20 份文档能干净解析的不到一半。规避动作是诊断阶段做数据质量抽检,抽检合格率定门槛。

3. 验收标准缺失

现象是交付时争论这算不算做完了。根因是合同只写功能清单没写可判定指标。早期信号是需求文档里出现效果好、准确率高这类词。规避动作是每个工作包写一到三个可测指标。

4. 边界未定义

现象是上线后出现越权访问或数据外发争议。根因是没做数据分级与外联环节清单。早期信号是问哪些字段绝对不能出内网时答案含糊。规避动作是用边界核对表逐项签字。

5. 模型许可未核

现象是做完发现不能商用或需重新授权。根因是只看了开源二字没看许可条款的商用限制与再分发条件。规避动作是设计验证阶段产出许可证核验台账,逐版本记录许可名称、商用条件与复核日期。

6. 算力估错

现象是 POC 时够用上量后卡死。根因是只按权重估显存没算 KV 缓存与并发。规避动作是按权重、KV、激活、框架开销复算,压测必须报并发数与输入输出长度。可用 显存与并发估算器 先做初算。

7. 评测集缺失或造假

现象是演示效果好真实使用差。根因是评测集由团队自编或只用公开榜单。规避动作是上线前建 100 到 500 条业务真实样本的评测集,业务方参与标注并签字。

8. 业务系统集成被低估

现象是模型能用但没人用,因为要另开一个系统。根因是没打通单点登录、权限与工单流。规避动作是把集成拆成工作包(SSO、权限、接口、埋点)单独验收。

9. 运维无承接

现象是验收后三个月服务退化无人管。根因是合同没写运维责任与 SLA。规避动作是验收阶段必须有 SLA 启动、工单流与知识转移三项交付物。

10. 人工确认节点缺失

现象是出了错答案追不到人。根因是把辅助当自动,没有人类确认环节。规避动作是高影响场景设人工确认点,系统只出草稿与依据。

11. 期望管理失败

现象是业务方以为能替代一个部门。根因是售前演示过度承诺。规避动作是项目章程里写明确不做的事三项以上。

12. 安全与合规评审滞后

现象是要上线了才送测评卡两个月。根因是等保、密评、算法备案没在诊断阶段排期。规避动作是把合规里程碑写进项目计划。

13. 扩容无预留

现象是二期要加场景发现硬件跑不动。根因是一期按最小可用采购没留余量。规避动作是立项时明确当前规模与 12 个月预期,扩容单价写进合同。

怎么在诊断阶段就筛掉这些风险?

诊断阶段用五张表筛:场景卡、数据质量抽检表、边界核对表、许可台账、评测集方案;五张表任何一张填不满,就不进 POC。

PoC 什么时候该退出?

PoC 阶段必须预设退出条件:三项指标两项不达标、或数据合格率低于门槛、或合规不可行,就出扩围或退出建议,不硬推到生产。

相关页面:六阶段交付、边界核对表、17 项验收材料。