一、先选路径,再动手

本地部署只是三种落法之一:纯私有化(全部组件在客户环境)、混合部署(核心数据本地、可脱敏任务外发)、模型托管(调外部接口)。选型的分水岭是三个问题:数据是否允许出域、本地是否有运维能力、负载是否需要弹性。三个都答完再谈装什么。

二、环境准备

  • 算力:按参数量与精度估算显存(另见硬件选型指南),并预留 KV 缓存与并发开销;
  • 运行时:vLLM 是当前主流的推理服务框架,支持连续批处理与量化模型;
  • 模型来源:官方渠道下载并校验哈希,离线环境先做内网镜像。

三、vLLM 最小启动

安装后一条命令即可起服务:vllm serve 模型路径 --port 8000。起服务只是开始,生产可用还需要网关鉴权、限流、审计日志与备份策略。

四、验收口径

  • 功能:权限内问答链路端到端可通;
  • 性能:按真实输入输出长度分布压测,记录吞吐与 P95 时延,不抄公开榜单数字;
  • 权限与日志:越权访问被拦截,审计字段与保留期按制度确认;
  • 备份恢复:至少完成一次恢复演练并记录耗时。

五、什么时候不该自己折腾

没有专职运维、数据分级未完成、或需要向审计说明数据流向时,自行部署的隐性成本高于服务费。这种情况建议走部署实施服务,验收以脚本复跑为准。

※ 本文为工程路径说明,不构成对具体环境性能的承诺;以实测为准。