一、最低配置由什么决定

四个变量共同决定:参数量、精度(FP16/INT8/INT4)、上下文长度、并发数。只按“几B模型配几张卡”估算必然失真,必须连同并发与上下文一起算。

二、权重显存估算表(仅权重,不含开销)

  • 7B 档:INT4 约 4GB,INT8 约 8GB,FP16 约 15GB;
  • 13-14B 档:INT4 约 7-8GB,INT8 约 14GB,FP16 约 28GB;
  • 32B 档:INT4 约 18GB,INT8 约 34GB,FP16 约 65GB;
  • 70B 档:INT4 约 35-40GB,INT8 约 70GB,FP16 约 140GB。

三、别漏掉 KV 缓存与并发

长上下文与高并发下,KV 缓存可占到与权重同量级。经验口径:在权重显存之上预留 50%-100% 余量,再按峰值并发复算;具体数值以目标环境压测为准。

四、三档采购路径

  • 验证档:单卡 24GB 级(跑 7B-14B INT4),用于 PoC;
  • 部门档:双卡 48-80GB 级(跑 32B INT4 或 14B FP16),支撑单部门上线;
  • 组织档:多卡服务器或集群(70B+ 或高并发),需机房与供电核查。

拿不准配置,可走硬件选型与代采服务出 BOM,或先用自助估价器按模型与并发粗算预算。

※ 以上为估算口径非保证值,实际配置以到货实测与压力测试为准。