OnvergeAI·临界智能
TOOLS · 临界智能

显存与并发估算器:按量化与上下文算卡数

按模型参数量、量化精度、上下文长度与并发数估算显存占用与所需卡数;模型清单与模型库在架数量自动同步,权重口径一致,KV 缓存为通用估算,精度以实测为准。

当前收录 44 个在架模型,与「模型库」数量一致(本清单由模型库直接生成,不再手工维护)。其中 43 个可估算,另有 1 个未公开参数量(如下拉框置灰项)——参数量不公开就推不出权重,不编数字。图像/视频类只计权重显存,不计 KV 缓存。

同时处理的请求数,峰值按 1.5 倍预留
Llama-3 / Qwen2.5 多为 GQA;不确定选 GQA
权重显存
–GB
KV 缓存估算
–GB
所需总显存
–GB
建议卡数
–张
项目数值说明
参数量–模型页标注
站内 FP16 门槛–本站模型页口径(权重估算)
站内 INT8 门槛–同上
站内 INT4 门槛–同上
KV 系数–MB/token(已乘注意力结构倍数)
激活与框架开销+8%按权重比例预留
KV 缓存 = 基础系数 × 注意力倍数 × 上下文 tokens × 并发数 ÷ 1024。基础系数为通用工程估算(≤10B: 1.0、10–40B: 2.0、40–100B: 5.0、>100B: 12.0 MB/token,MHA 口径),GQA 约 1/4、MQA 约 1/8。不做实测承诺;卡数按单卡 90% 可用显存向上取整。
本页数值为容量规划估算,不构成性能承诺。实际吞吐、延迟与显存以项目 POC 实测为准。

先做一次 30 分钟的需求梳理

说出你的行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。