MODELS · 临界智能
Llama-3.1-70B-Instruct本地部署:显存要求与商用许可
Llama-3.1-70B-Instruct(70B,上下文 131072 tokens):FP16 显存约 140GB、INT8 约 70GB、INT4 约 35GB;许可:Llama 3.1 Community License;适配 vLLM/SGLang/TensorRT-LLM;权重要从官方仓库取用,参数以官方资料为准。
许可与商用条件
| 许可 | Llama 3.1 Community License |
| 权重许可 | Llama 3.1 Community License Agreement |
| 代码许可 | Llama 3.1 Community License(随附组件,须逐项核验) |
| 商用条件 | 允许商用,但存在规模门槛:月活超过 7 亿的组织须另行向许可方申请许可;并须遵守可接受使用政策(AUP)。具体条件以官方原文为准 |
| 训练/微调限制 | 条款涉及使用模型与输出训练其他模型的限制,各版本(3.0/3.1/3.2)措辞存在差异,禁止跨版本套用 |
| 禁止用途 | 详见 AUP:不得用于违法、有害、监控滥用、未披露的自动化决策等用途 |
| 适用辖区 | 受适用法律与出口管制约束;特定地区使用与分发须另行评估 |
| 再分发与衍生 | 再分发须随附许可协议与 AUP,并保留声明 衍生模型命名与标注要求须严格遵循原文 |
| 署名要求 | 需展示「衍生模型名称须以 “Llama” 开头,并显著标注 “Built with Llama”」 |
| 许可原文 | 官方许可文本(LIC-LLAMA31-70B-001) |
许可结论以官方许可文本为准,并随版本更新变化;商用前建议逐版本复核。
显存与硬件门槛
| 项目 | 数值 |
|---|---|
| 参数量 | 70B(激活 70B) |
| FP16 显存(约) | 140.00 GB |
| INT8 显存(约) | 70.00 GB |
| INT4 显存(约) | 35.00 GB |
| 上下文长度 | 131072 tokens |
| 权重体积(约) | 70.00 GB |
| 引擎适配 | vLLM / SGLang / TensorRT-LLM |
显存为权重占用估算口径(FP16 约 2GB/十亿参数、INT8 约 1GB、INT4 约 0.5GB),不含 KV 缓存与并发开销;与 显存与并发估算器同一口径,按并发与上下文长度可在估算器里复算。
量化与实测口径:量化生态成熟,但长上下文与高并发下显存增长明显
典型企业落地场景
可直接落地的高频场景:
- 内部知识问答
- 英文合同审阅辅助
- 多轮对话
生态成熟、英文能力强;中文效果需按场景实测
不适用:许可含月活规模门槛、署名与命名要求,须逐版本核验;中文专业场景须实测后再决策
能力评测
官方公开基准成绩(英文为主),中文场景须另测
评测口径由厂商提供,未经本站第三方复测;实际效果以自有业务测试集为准。
官方下载源
官方页面:https://www.llama.com
权重下载:https://huggingface.co/meta-llama
本站不托管模型权重;下载与使用受官方许可约束。内网离线环境可由部署服务协助做内网镜像与哈希校验。
来源与核验:公开资料整理;许可逐版本差异大
※ 以上参数来自官方公开资料与本站核验记录,不构成对具体项目效果的承诺;以官方许可文本与环境实测为准。