一、先选路径,再动手
本地部署只是三种落法之一:纯私有化(全部组件在客户环境)、混合部署(核心数据本地、可脱敏任务外发)、模型托管(调外部接口)。选型的分水岭是三个问题:数据是否允许出域、本地是否有运维能力、负载是否需要弹性。三个都答完再谈装什么。
二、环境准备
- 算力:按参数量与精度估算显存(另见硬件选型指南),并预留 KV 缓存与并发开销;
- 运行时:vLLM 是当前主流的推理服务框架,支持连续批处理与量化模型;
- 模型来源:官方渠道下载并校验哈希,离线环境先做内网镜像。
三、vLLM 最小启动
安装后一条命令即可起服务:vllm serve 模型路径 --port 8000。起服务只是开始,生产可用还需要网关鉴权、限流、审计日志与备份策略。
四、验收口径
- 功能:权限内问答链路端到端可通;
- 性能:按真实输入输出长度分布压测,记录吞吐与 P95 时延,不抄公开榜单数字;
- 权限与日志:越权访问被拦截,审计字段与保留期按制度确认;
- 备份恢复:至少完成一次恢复演练并记录耗时。
五、什么时候不该自己折腾
没有专职运维、数据分级未完成、或需要向审计说明数据流向时,自行部署的隐性成本高于服务费。这种情况建议走部署实施服务,验收以脚本复跑为准。
※ 本文为工程路径说明,不构成对具体环境性能的承诺;以实测为准。