私有化大模型到底该怎么落地?
不是把模型“装上”,而是建一套受控的业务能力
大模型进入专业组织,真正的风险不在模型是否运行,而在数据能否出域、回答是否可溯源、权限是否受控、结果能否评测、运维责任是否闭环。
我们按“诊断—设计—建设—验收—运营”的工程方法,将咨询、软硬件、模型、知识、应用与运维纳入统一责任链。
我的行业能做什么、边界在哪里?
每个行业都有明确的场景、前提、边界与人工复核点——先看边界,再谈能力。
律所与专业服务
把律所手里的三类资料——法规与判例、内部规范与历史文书、具体案件的案卷与合同——变成可控检索、可核对引用、可生成草稿的工作底座,…
- 4 个典型场景
- 1 个案例/示例
财务税务
把制度与政策文件、合同与业务资料、发票与财务资料、历史底稿变成可检索、可核对、可留痕的工作底座,而涉税判断与申报口径始终由财税专…
- 4 个典型场景
- 2 个案例/示例
金融
金融行业能落地的是五类任务:制度与监管要求检索、内部知识问答、客服坐席辅助、文档审阅辅助、检查与内审资料准备。它们的共同点是围绕…
- 4 个典型场景
- 案例按行业筹建中
教育
把学校手里的三类资料——课程标准与教材、校本课程材料与教研成果、行政制度与学生服务指南——做成可控检索、可核对引用、可生成草稿的…
- 4 个典型场景
- 案例按行业筹建中
地方政府职能部门
把政务工作中重复度高、检索量大、格式要求固定的部分——公文与政策辅助、内部知识问答、事项办理指引、档案与历史文件检索、报告起草辅…
- 4 个典型场景
- 1 个案例/示例
其他中大型企业
把中大型企业手里的三类资料——制度与流程文件、产品与售前对外资料、业务运行中的合同与单据——变成可检索、可引用、可生成底稿的工作…
- 3 个典型场景
- 案例按行业筹建中
五种部署方式,数据到底存在哪里?
逐项确认推理位置、模型文件、向量、原文、日志、备份的去向,方案才可称为“按定义私有化”。
项目分几步?付款怎么和阶段绑定?
每个阶段写明客户输入、服务商输出与退出条件;付款对应可验证成果。
0. 立项与保密
签署保密协议与项目章程,确定双方项目授权人,划定保密信息范围与数据授权使用边界。
1. 诊断
完成业务、IT、法务、安全四方访谈,盘点数据与系统现状,输出场景排序与风险清单。
2. 设计验证
设计数据治理与权限矩阵,核验模型许可与算力配置,输出部署边界图与BOM清单。
3. PoC
部署验证环境并接入样本数据,实施知识库问答或模型微调,完成评测、演示与缺陷闭环。
4. 生产实施
完成系统集成与历史数据迁移,配置安全策略与访问权限,组织全员培训并上线试运行。
5. 验收运维
归集验收材料并完成UAT签字,交付运维手册与培训文档,启动SLA响应与持续改进。
自部署要按 token 付费吗?成本花在哪?
私有化部署是一次投入、长期使用,token 输出不单独计费;随用量变化的只有电费。下列三组数字由公开实测吞吐与固定口径的电费模型算出,可逐项复核。
0.007 – 0.06 元 / 百万 token
token 的边际成本(只计电费)。吞吐取官方实测:8B FP8 单卡 26,401 tok/s、70B FP8 双卡 6,092 tok/s。
约为按量计费 API 的 1/170 – 1/1,500
同口径下的量级差。API 单价按 10–30 元/百万 token 代入,实际倍数随卡型、量化精度与利用率变化。
全成本 1.4 – 2.8 元 / 百万 token
含 3 年硬件折旧与运维人力,对应满负载至 50% 利用率。利用率低于约 15% 时,当量成本高于按量计费 API。
口径:GPU 700W、PUE 1.3、电价 0.7 元/kWh、满负载连续运行;卡价与电价实时变动,以当日报价与当地工商业电价代入同一公式重算。详见 公开实测与成本算法,或 按四类构成看报价方式。
客户最常问哪些问题?
以下为高频问题摘录,完整知识库覆盖售前、部署、模型、微调、硬件、报价、验收与 SLA。