TOOLS · 临界智能
显存与并发估算器:按量化与上下文算卡数
按模型参数量、量化精度、上下文长度与并发数估算显存占用与所需卡数;模型清单与模型库在架数量自动同步,权重口径一致,KV 缓存为通用估算,精度以实测为准。
当前收录 44 个在架模型,与「模型库」数量一致(本清单由模型库直接生成,不再手工维护)。其中 43 个可估算,另有 1 个未公开参数量(如下拉框置灰项)——参数量不公开就推不出权重,不编数字。图像/视频类只计权重显存,不计 KV 缓存。
同时处理的请求数,峰值按 1.5 倍预留
Llama-3 / Qwen2.5 多为 GQA;不确定选 GQA
权重显存
–GB
KV 缓存估算
–GB
所需总显存
–GB
建议卡数
–张
| 项目 | 数值 | 说明 |
|---|---|---|
| 参数量 | – | 模型页标注 |
| 站内 FP16 门槛 | – | 本站模型页口径(权重估算) |
| 站内 INT8 门槛 | – | 同上 |
| 站内 INT4 门槛 | – | 同上 |
| KV 系数 | – | MB/token(已乘注意力结构倍数) |
| 激活与框架开销 | +8% | 按权重比例预留 |
KV 缓存 = 基础系数 × 注意力倍数 × 上下文 tokens × 并发数 ÷ 1024。基础系数为通用工程估算(≤10B: 1.0、10–40B: 2.0、40–100B: 5.0、>100B: 12.0 MB/token,MHA 口径),GQA 约 1/4、MQA 约 1/8。不做实测承诺;卡数按单卡 90% 可用显存向上取整。
本页数值为容量规划估算,不构成性能承诺。实际吞吐、延迟与显存以项目 POC 实测为准。