百度开源ERNIE 5.5 Flash Base,280B总参支持本地推理

行业新闻 · 丁香 · 发布 2026-11-05 · 阅读 51

开放高效基座模型权重

百度文心大模型团队正式发布ERNIE-5.5-Flash-Base,这是ERNIE 5.5 Flash预训练终点的开放权重版本。该模型属于稀疏MoE架构,总参数为280B,但每个token仅激活14B参数,旨在平衡模型能力与推理效率。这种设计使得在保持较高性能的同时,显著降低了计算资源需求,为本地推理和私有化部署提供了更具可行性的选择。

预训练细节与语料构建

该模型在33.5T tokens语料上从零完成预训练,最长训练上下文达到128K,而在微调与推理阶段支持1M tokens上下文。训练过程采用Muon优化器及FP8混合精度技术,语料覆盖多领域与多语言,重点建设了网页、代码及长文数据。其中,代码数据包含了commit、issue、pull request及经CI验证的修复等软件演化信息,增强了模型在复杂开发场景下的表现。

架构优化与硬件适配

在系统层面,训练系统与模型结构进行了协同设计。分布式Muon优化器将Dense与MoE参数的跨机通信合并为一次集合通信,有效降低了数千卡规模下的跨机时延与抖动。注意力算子采用基于CuTe-DSL的FlashMask-4,支持SM90与SM100架构,head dim最高支持576(qk)与512(v),可直接用于HCA层512维宽头的计算。这种深度优化意味着该模型在现有高端GPU硬件上能实现更高效的推理吞吐。

评测表现与竞品对比

官方在30项Benchmark上评测了该模型,涵盖综合、知识、理科、推理、多语言、代码与长上下文七大类能力。评测对象包括同等规模的DeepSeek-V4-Flash-Base、Hy3-preview-Base与MiMo-V2.5-Base。结果显示,ERNIE-5.5-Flash-Base在各维度表现良好,特别是在长上下文处理上,尽管43层中有37层进行了128倍压缩,6层MLA-DSA已足以支撑细粒度检索。这表明其在长文本理解方面具有显著的技术优势。

本地部署与应用前景

此次发布的权重未经中训练与后训练,可作为领域适配、指令微调和强化学习研究的共同起点。官方指出,Base模型只是起点,经过后训练的ERNIE 5.5 Flash将随后推出。对于企业用户而言,开放权重的基座模型降低了私有化部署的门槛,结合其高效的稀疏架构,有望在降低推理成本的同时,满足对数据隐私敏感行业的本地化需求。

技术博客及开源链接已在官方渠道公布,提供FP8与BF16格式的Hugging Face模型卡,以及基于Megatron-Bridge的微调示例。开发者可据此快速启动本地化实验。

来源:IT之家