OnvergeAI·临界智能
MODELS · 临界智能

Qwen2.5-72B-Instruct本地部署:显存要求与商用许可

Qwen2.5-72B-Instruct(72B,上下文 32768 tokens):FP16 显存约 144GB、INT8 约 72GB、INT4 约 36GB;许可:Apache-2.0;适配 vLLM/SGLang/MindIE;权重要从官方仓库取用,参数以官方资料为准。

许可与商用条件

许可Apache-2.0
权重许可Apache License 2.0
代码许可Apache-2.0
商用条件允许商用、修改与再分发;须保留版权、许可文本与 NOTICE(如有);不得使用商标暗示背书
训练/微调限制无额外训练限制(许可层面)
禁止用途违法用途、侵犯第三方权利、绕过安全机制等(按适用法律)
适用辖区以官方原文为准(含出口管制提示)
再分发与衍生允许再分发,须随附 Apache-2.0 文本并保留变更声明
允许衍生模型,须保留原声明并注明修改
署名要求需展示「保留版权声明与许可文本;不得使用 “通义”“Qwen” 商标暗示官方背书」
许可原文官方许可文本(LIC-QWEN25-72B-001)

许可结论以官方许可文本为准,并随版本更新变化;商用前建议逐版本复核。

显存与硬件门槛

项目数值
参数量72B(激活 72B)
FP16 显存(约)144.00 GB
INT8 显存(约)72.00 GB
INT4 显存(约)36.00 GB
上下文长度32768 tokens
权重体积(约)72.00 GB
引擎适配vLLM / SGLang / MindIE / TensorRT-LLM

显存为权重占用估算口径(FP16 约 2GB/十亿参数、INT8 约 1GB、INT4 约 0.5GB),不含 KV 缓存与并发开销;与 显存与并发估算器同一口径,按并发与上下文长度可在估算器里复算。

量化与实测口径:INT8/INT4 量化生态较成熟;长上下文时 KV Cache 显存显著增长

典型企业落地场景

可直接落地的高频场景:

  • 内部知识问答
  • 合同要点提取
  • 制度检索
  • 多轮问答

中文能力较好、许可宽松、部署生态成熟,是私有化推理的主力候选之一

不适用:72B 密集模型显存与算力需求高;长上下文与高并发需按实测配置,不能只按参数量估算

能力评测

官方公开基准成绩(不同测试集与推理设置差异较大)

评测口径由厂商提供,未经本站第三方复测;实际效果以自有业务测试集为准。

官方下载源

官方页面:https://qwenlm.github.io
权重下载:https://huggingface.co/Qwen

本站不托管模型权重;下载与使用受官方许可约束。内网离线环境可由部署服务协助做内网镜像与哈希校验。

来源与核验:公开资料整理;同系列不同尺寸许可可能不同,须逐版本核验

用这个模型做私有化部署?

按参数量与并发估算硬件预算,或先做许可与 PoC 评估。

按此模型估算部署预算 模型选型服务 硬件选型与代采

※ 以上参数来自官方公开资料与本站核验记录,不构成对具体项目效果的承诺;以官方许可文本与环境实测为准。

先做一次 30 分钟的需求梳理

说出你的行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。