OnvergeAI·临界智能
MODELS · 临界智能

Qwen3.6-35B-A3B本地部署:显存要求与商用许可

Qwen3.6-35B-A3B(35B(激活 3B),上下文 262144 tokens):FP16 显存约 70GB、INT8 约 35GB、INT4 约 18GB;许可:Apache-2.0;适配 vLLM/SGLang/Ollama;权重要从官方仓库取用,参数以官方资料为准。

许可与商用条件

许可Apache-2.0

许可结论以官方许可文本为准,并随版本更新变化;商用前建议逐版本复核。

显存与硬件门槛

项目数值
参数量35B(激活 3B)(激活 3B)
FP16 显存(约)70.00 GB
INT8 显存(约)35.00 GB
INT4 显存(约)17.50 GB
上下文长度262144 tokens
权重体积(约)35.00 GB
引擎适配vLLM / SGLang / Ollama / Transformers

显存为权重占用估算口径(FP16 约 2GB/十亿参数、INT8 约 1GB、INT4 约 0.5GB),不含 KV 缓存与并发开销;与 显存与并发估算器同一口径,按并发与上下文长度可在估算器里复算。

量化与实测口径:官方 FP8 与 GPTQ-Int4 量化

典型企业落地场景

可直接落地的高频场景:

  • 企业知识问答与客服
  • 新员工培训与考核
  • 长文档与标准条款检索
  • 图文与文档混合理解

MoE 架构总参数 350 亿、推理仅激活约 30 亿,原生多模态(文本、图片、视频、文档),262K 上下文可扩至 1M,适合食品安全标准、生产流程、配料表、售后政策这类长文档知识库。

不适用:代码生成与强数学推理非其强项;需要超低延迟的实时语音交互建议另配语音模型。

官方下载源

官方页面:https://qwen.ai
权重下载:https://qwen.ai

本站不托管模型权重;下载与使用受官方许可约束。内网离线环境可由部署服务协助做内网镜像与哈希校验。

来源与核验:厂商官方发布口径;权重下载深链以官方仓库当期地址为准

用这个模型做私有化部署?

按参数量与并发估算硬件预算,或先做许可与 PoC 评估。

按此模型估算部署预算 模型选型服务 硬件选型与代采

※ 以上参数来自官方公开资料与本站核验记录,不构成对具体项目效果的承诺;以官方许可文本与环境实测为准。

先做一次 30 分钟的需求梳理

说出你的行业、数据边界与预算区间,我们在 1 个工作日内给出可验证的下一步。