阿里Qwen4-Max落地:2.4万亿参数MoE架构,推理成本降58%支持本地部署

行业新闻 · 丁香 · 发布 2026-11-16 · 阅读 1

MoE架构革新与算力效率

阿里通义千问团队推出旗舰模型Qwen4-Max,采用全新的MoE(混合专家)架构,主干参数规模达到2.4万亿。该模型在Attention、Residual和Embedding三个层面进行了系统性调整,旨在提升复杂工作任务处理能力的同时,减少Token消耗并降低任务成本。原生支持视觉理解,并提供100万Token上下文窗口,为本地推理与私有化部署提供了更高效的算力利用方案。

稀疏注意力与长序列优化

在技术实现上,Qwen4-Max每四层中三层使用Gated DeltaNet将历史信息压缩为固定状态,剩余一层以Qwen Sparse Attention按block粒度选择相关上下文。这种设计显著降低了长序列的注意力计算开销。此外,Gated Residual将残差流扩展为四条并行分支,增强跨层信息传递;N-gram Embedding在第二层以查表方式提供局部token模式表示,以较低额外算力扩展模型容量,进一步优化了推理成本。

任务成本大幅降低

官方数据显示,在同等性能下,Xhigh和High两档推理强度的token消耗分别比前代Qwen3.8-Max减少约24%和35%。API定价同步下调,尤其大幅降低了缓存命中价格。在Work360评测中,单个任务的平均费用从26.58元降至11.16元,降幅达58%。这一成本结构的优化,使得企业用户在部署大规模推理任务时,能显著降低总体开销,提升硬件算力的投资回报率。

Work360基准与专业场景

为评估真实工作场景表现,Qwen团队开发了Work360评测框架,覆盖26个一级领域、182个二级子领域和721个三级专业方向。Qwen4-Max在该基准上取得52.69分,优于前代的47.74分。模型重点提升专业工具使用、长周期任务执行及最终交付质量,适用于3D建模、游戏开发、工业制造、金融、法律及医疗等场景。在汽车零件加工案例中,单个工件编程的人工投入从约475分钟降至24分钟。

长程任务与开源计划

Qwen4-Max支持百万token上下文窗口,并在智能体场景中引入Live Delivery机制,先交付可用首版再根据反馈扩展。官方同步开源了Qwen-Live-Delivery-Plugin插件。目前,Qwen4-Max API已在QwenCloud上线,开发者可通过API、Qwen Studio、QwenWork及Qoder体验。官方表示,Qwen4系列中的小尺寸模型将陆续开源,沿袭同源技术路线,面向小模型更擅长的场景做取舍,这为追求轻量级本地推理和边缘侧部署的用户提供了更多选择。

来源:IT之家