一、最低配置由什么决定
四个变量共同决定:参数量、精度(FP16/INT8/INT4)、上下文长度、并发数。只按“几B模型配几张卡”估算必然失真,必须连同并发与上下文一起算。
二、权重显存估算表(仅权重,不含开销)
- 7B 档:INT4 约 4GB,INT8 约 8GB,FP16 约 15GB;
- 13-14B 档:INT4 约 7-8GB,INT8 约 14GB,FP16 约 28GB;
- 32B 档:INT4 约 18GB,INT8 约 34GB,FP16 约 65GB;
- 70B 档:INT4 约 35-40GB,INT8 约 70GB,FP16 约 140GB。
三、别漏掉 KV 缓存与并发
长上下文与高并发下,KV 缓存可占到与权重同量级。经验口径:在权重显存之上预留 50%-100% 余量,再按峰值并发复算;具体数值以目标环境压测为准。
四、三档采购路径
- 验证档:单卡 24GB 级(跑 7B-14B INT4),用于 PoC;
- 部门档:双卡 48-80GB 级(跑 32B INT4 或 14B FP16),支撑单部门上线;
- 组织档:多卡服务器或集群(70B+ 或高并发),需机房与供电核查。
拿不准配置,可走硬件选型与代采服务出 BOM,或先用自助估价器按模型与并发粗算预算。
※ 以上为估算口径非保证值,实际配置以到货实测与压力测试为准。