企业大模型私有化部署白皮书(2026 版)
本白皮书面向正在评估大模型私有化部署的企业决策者、技术负责人与采购负责人。全文按「为什么私有化—选什么形态—选什么模型—配什么硬件—花多少钱—怎么合规—怎么验收—避开哪些坑」的决策顺序展开,所有口径与临界智能公开的服务方案、验收清单、资源模板一致,可逐项核对。
第一章 执行摘要
大模型进入专业组织的分水岭,不是模型能力的强弱,而是数据能否出域、回答是否可溯源、权限是否受控、结果能否评测、运维责任是否闭环。2025 至 2026 年的三个结构性变化,使私有化部署从「少数涉密单位的奢侈选项」变成「多数专业组织的常规选项」:
- 开源权重质量越过可用线。DeepSeek、Qwen、GLM 等开放权重模型在多数企业知识任务上已达到可验收水平,企业不必再把数据交给闭源 API 才能获得合格效果。
- 推理硬件门槛快速下降。INT4/FP8 量化使 30B 级模型可运行于单张 24GB 消费级显卡,70B 级模型可运行于双卡工作站;小规模试点的一次性投入已低于多数企业一年的 API 账单。
- 监管口径趋于明确。生成式人工智能服务备案与登记、等保测评、数据分类分级的要求逐条落地,「数据不出域」从竞争优势变成部分行业的准入条件。
本白皮书的核心结论:私有化部署的本质不是「把模型装上」,而是建设一套受控的业务能力——以可定义的部署边界为前提,以可复算的评测为依据,以可签收的验收材料为交付终点。任何跳过边界定义直接谈模型效果的方案,都会在验收阶段返工。
第二章 为什么选择私有化:三条驱动线
2.1 数据主权线
对律所、金融、医疗、政务、研发型企业而言,核心资产是文本:案卷与合同、底稿与凭证、病历与检验记录、公文与档案、图纸与工艺文件。这些资料的共同特征是一旦出域,损失不可逆且难以举证。私有化部署把模型权重、向量库、日志与备份全部收敛到客户指定环境,使「数据物理上在哪里」成为一个可以被审计、被签字确认的事实,而不是服务商的一句承诺。
2.2 合规线
三类监管要求直接推动私有化:一是生成式人工智能服务的备案与登记制度,面向公众提供服务与内部使用的口径不同,调用已备案模型并进行训练优化的情形仍需备案;二是网络安全等级保护制度,系统定级、测评与整改以运营者为主体;三是行业监管对数据本地化的硬性要求,如金融、医疗、政务的若干场景。私有化是控制边界,不自动等于合规达标,但它把合规动作的实施位置收回到企业自己的机房与账号体系内,使整改成为可能。
2.3 成本线
API 计价模式在低频、偶发场景下占优;当日均调用量越过盈亏平衡点,自建的边际成本优势开始显现。盈亏平衡点由四个变量决定:日均 token 量、输入输出比、目标模型的显存档位、硬件折旧年限。以当前 API 价格与显卡价格测算,一个日均 5000 万 token 的知识库问答负载,使用 30B 级开源模型自建,回本周期通常在 12 至 20 个月;负载越高、模型档位越低,回本越快。精确测算应使用逐项变量而非经验数字,可参考本站自助估价的 17 项变量口径。
第三章 五种部署形态:数据去哪里逐项写明
部署形态的选择本质上是数据流向的选择。五种形态没有优劣排序,只有与企业数据敏感度、算力条件、运维能力的匹配关系。每种形态必须逐项写明推理位置、模型文件、向量、原文、日志、备份的去向,才可称为「按定义私有化」。
| 形态 | 数据面位置 | 适用组织 | 关键前提 |
|---|---|---|---|
| 纯私有化 | 全部组件在客户指定环境 | 高敏感数据、稳定负载、具备机房与运维能力 | 逐项确认更新、遥测、远程运维、备份等外联环节 |
| 纯云端 | 客户选定的云账号与授权资源 | 数据敏感度较低、负载弹性大、无本地机房 | 客户自行管理账户、密钥、日志与供应商访问权限 |
| 混合部署 | 核心数据本地,脱敏任务经授权网关外发 | 核心资料不外发、部分任务可脱敏 | 外发审批、输出回写前人工复核、唯一外发出口 |
| 模型托管 | 服务商环境,客户不自建推理集群 | 缺少算法与平台运维团队 | 审查账户、SLA、数据处理、跨境与退出安排 |
| 知识库本地化加外部模型 | 向量与原文本地,脱敏片段外发 | 知识敏感、本地算力不足 | 片段外发审批与回写复核机制 |
逐形态的工程实现、治理保障与退出路径,见本站部署架构与数据边界栏目;签约前建议使用落地前 20 项边界自查表逐项核对。
第四章 模型选型:许可、显存与场景的三重过滤
4.1 许可核验是第一道闸门
同一模型的不同版本许可可能不同:代码仓库的 Apache 协议不等于权重许可,权重仓库的 LICENSE 文件才是商用依据。核验必须逐版本落表,覆盖权重许可、代码许可、训练限制、商用条件、输出与蒸馏限制、署名要求、地域限制、上游依赖与禁止用途九项,并记录许可证文本哈希与核验日期。部分模型存在特殊条款,例如营收门槛、欧盟境内使用限制、基础授权仅非商用等,必须在选型阶段识别并写入方案。
4.2 显存门槛的估算口径
权重显存按参数量与量化精度估算:INT4 约 0.5GB 每 10 亿参数,INT8 约 1GB,FP16 约 2GB。30B 级模型 INT4 量化后权重约 15GB,一张 24GB 显卡可承载;70B 级 INT4 约 35GB,需要双卡 48GB 或单卡 48GB 以上;400B 级 MoE 模型即使 INT4 也需 200GB 级显存,通常以多卡服务器或集群承载。权重之外还须预留 KV Cache 空间:并发数乘以平均上下文长度决定 KV Cache 规模,长上下文高并发场景的 KV Cache 可与权重相当。估算口径与逐模型门槛可查阅本站开源大模型企业选型库,该库对 38 个主流模型逐版本核验许可与显存。
4.3 场景匹配
模型按能力类别分工:通用对话、深度推理、多模态、代码、向量与重排、图像、语音、安全审核。企业落地的典型组合是一套通用对话模型加一套向量与重排模型,按任务再叠加推理或代码模型。先用检索增强解决知识类任务,确需风格与格式适配再评估微调——这是第四章之后下一章的主题。
第五章 RAG 与微调的取舍框架
「该用检索增强还是微调」由六个判定节点回答:知识是否频繁更新、答案是否需要引用来源、任务是否属于风格与格式适配、是否有足量合法标注样本、算力与周期是否可行、失败模式如何回退。知识频繁更新且要求引用来源的任务走检索增强;风格固化、格式严格且样本充足的任务可评估微调;两者结合的混合路线在专业组织中最常见。
两条必须守住的红线:其一,检索增强不能消除模型输出错误,只能降低,必须保留引用定位、未命中提示与人工复核点,并用可复算指标验证;其二,使用客户数据训练须同时满足许可允许训练、客户书面授权、数据来源合法三项条件,默认不将客户数据用于训练。判定路径的细节可使用本站RAG 与微调选型流程图模板逐节点确认。
第六章 算力与硬件规划
6.1 从需求书开始,而不是从报价单开始
硬件选型的正确起点是一份可评审的需求书:业务与并发口径、任务类型与模型参数量级、上下文长度与吞吐、显存估算口径、存储与向量库、网络与机房条件、高可用与冗余、运维与监控、采购与验收条件。用参数量直接换算卡数是常见错误——并发与上下文长度对显存的影响经常超过权重本身。需求书模板见硬件选型需求书模板。
6.2 规模梯度
试点期:单卡至双卡工作站,30B 级模型 INT4,支撑 5 至 20 人团队的检索问答类验证。生产起步:4 至 8 卡服务器,70B 级或 30B 级多副本,配合向量库与网关支撑部门级负载。规模化:整机柜与多机集群,面向全员级负载、MoE 大模型或训练微调任务,须同步规划供电、散热与网络。批量集采的货源与交期可参考本站算力服务器货源栏目,整机批量交付常见 64 台与 128 台集群规格。
6.3 国产化路径
昇腾、海光、寒武纪、沐曦等国产算力已进入可用区间,但信创不等于兼容所有国产芯片:适配取决于具体软硬件版本、模型版本与精度、框架与算子支持、驱动与容器镜像。可行做法是建立适配清单逐项验证,先以推理场景切入,再评估训练场景。国产化的采购逻辑与双硬件清单策略,可结合具体项目评估。
第七章 成本模型:TCO 三笔账
私有化部署的总拥有成本由三笔账构成。第一笔是一次性投入:硬件、软件许可与实施费,其中硬件按 BOM 逐项报价、代采服务费单列。第二笔是持续运营:电费、运维人力、模型与框架升级、备件与扩容,八卡整机按功耗折算的年电费在万元级,运维人力是更大的项。第三笔是机会成本的对照项:继续调用 API 的账单、数据出域的风险敞口、供应商锁定的迁移成本。
报价的透明口径是咨询、软件、硬件、运维四类分列,每类列明计价依据与包含项,付款与阶段控制点绑定,验收通过才触发下一期。完整口径见本站报价构成说明。所有「按经验拍脑袋」的报价都不可验收,可验收的报价必然能拆到工作包与交付物。
第八章 合规与备案路径
合规工作的第一步是把三件事分开:生成式人工智能服务的备案与登记、网络安全等级保护、数据分类分级与个人信息保护。备案与登记取决于是否面向公众、是否训练优化、上线位置与属地要求,未做训练优化的内部使用一般仍需登记,结论应逐项目与客户法务确认;等保以客户系统的定级、测评与整改为主线,供应商提供技术配合与材料,不作达标声明;数据分类分级是前两者的地基,直接决定哪些数据可入库、哪些只可隔离使用、哪些一律不进系统。
内容侧还须落实人工智能生成合成内容的标识规范,对外发布内容保留人工复核点。本站已整理四篇备案专题:备案流程与材料、算法备案与生成式AI备案的区别、登记适用条件、私有化部署的备案边界,可直接用于项目启动前的合规自查。
第九章 交付与验收:六阶段与 17 项材料
可验收的交付按六个阶段推进:立项与保密、诊断、设计验证、PoC、生产实施、验收运维。每个阶段写明客户输入、服务商输出与退出条件,付款对应可验证成果,验收通过才触发下一期。PoC 阶段的价值不是演示效果,而是在正式实施之前把「算不算成功」提前定义清楚:试点范围、样本与测试集来源、基线口径、任务指标、时延与并发口径、人工复核与采纳率、失败与退出条件。
验收以 17 项材料为准,覆盖需求与范围确认书、架构与部署边界图、数据目录及处理方式清单、模型许可证与版本台账、环境配置和资产清单、数据迁移与初始化记录、功能与性能测试报告、安全配置核查表、权限与审计策略、备份恢复演练记录、培训记录、缺陷清单、UAT 签字、验收报告、运维手册与项目总结。逐项清单见17 项验收材料,空白模板可在签约前索取用于内部评审。
运维阶段按 P1、P2、P3 三级定义响应与恢复时限,赔偿上限与免责情形在合同附件逐项列明,详见SLA 服务级别。
第十章 十大失败模式
从行业公开案例与交付复盘看,私有化部署项目的失败很少源于模型能力不足,绝大多数源于以下十种可提前规避的模式:
- 跳过数据盘点直接上系统,模型在残缺文本上生成看似合理的表述,试点无法被业务采用;
- 把「私有化」当成合规标签,未逐项确认更新、遥测、远程运维与备份的外联环节;
- 用参数量直接换算卡数,忽略并发与上下文长度对 KV Cache 的占用;
- 把代码仓库的开源协议当成权重许可,商用条件核验缺位;
- 知识库无版本与生效期管理,引用过期规范导致返工;
- 权限设计滞后,整库同步导致越权访问无法界定;
- PoC 无基线口径,演示效果好坏各说各话,无法归因;
- 输出直接作为对外结论使用,未设人工复核点,触发合规风险;
- 未定义退出机制,供应商锁定时无法迁移模型、向量库与知识资产;
- 验收无材料清单,上线后无法向审计与监管交代。
这十条的共同解法只有一句话:先定义边界与验收口径,再投入建设。
第十一章 行动建议:30、60、90 天
30 天内:完成一次需求诊断——业务、IT、法务、安全四方访谈,盘点数据与系统现状,输出场景排序与风险清单;用20 项边界自查表完成部署边界的初步确认。
60 天内:完成设计验证与 PoC——确定部署形态与数据流向图,核验模型许可与算力配置,用脱敏样本跑通检索问答或微调试点,并按预设指标评测。
90 天内:完成生产实施的决策评审——以 PoC 报告与缺陷清单为依据,决定扩围、调整或退出;决定扩围的,进入生产实施阶段并锁定 17 项验收材料的交付计划。
临界智能提供从诊断到运维的完整服务链,八类服务可单独组合、分别验收。如需启动 30 天诊断,可通过提交需求评估或自助估价开始;说出行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。
本白皮书为方法论与口径说明,不构成对具体项目范围、效果、价格与合规结论的承诺;引用数据为公开资料与估算口径,最终以书面方案与合同为准。版本 v1.0,2026 年 10 月。