面壁公开 LES 调度细节:35B MoE 手机跑到 20 token/s,端侧部署的硬件边界在哪
10月21日,面壁智能 MiniCPM-V 团队公开了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术细节。按官方口径,这是首次把 35B-A3B 规模的稀疏 MoE 在手机端做到实时无损:总参 350 亿、每次推理只激活约 30 亿,约 3GB 内存即可运行,iPhone 18 Pro Max 实测解码超 20 token/s。对做私有化部署的人来说,这条消息的价值不在跑分,而在于它把端侧大模型该买什么硬件这道题的边界重新画了一遍。
先把三个口径对齐
端侧数字必须看清设备和量化配置。10 月 15 日 OpenBMB 与面壁的新闻稿给的是 iPad Pro M4(16GB 内存)超 17 token/s、iPhone 17 Pro Max 超 13 token/s,且 3GB 内存是多数专家留在 SSD、按需加载前提下的占用;今天披露的 iPhone 18 Pro Max 超 20 token/s 属厂商自报,尚无第三方复测。作为参照,35B 参数按 4bit 量化权重约 17.5GB,按 fp16 约 70GB,这就是为什么必须在整模进内存与专家流式加载之间二选一。
LES 省的不是算力,是搬运
传统 MoE 端侧推理的瓶颈不是乘加运算,而是专家权重从存储搬进运存的等待:路由判完再搬,搬完再算,一搬一停就掉帧。LES 的做法是提前预测下一层要用的专家,在当前层还在计算时就把权重预取进来,让加载与计算重叠。官方称多数场景可提前备好 80% 以上所需专家、且无需额外训练;由于最终选专家仍由原路由器决定,开关 LES 的输出完全一致,等于用工程手段换速度而不是用精度换速度。配合分层量化与专家连续存储,官方在 iPad Pro M4 16GB 上测得平均生成速度提升约 5 倍。
硬件选型:看四个指标而非 TOPS
第一看内存容量与带宽:3GB 级常驻意味着 8GB 内存设备即可上量,但只有 16GB 才有余量跑长上下文与多图。第二看 SSD 随机读:专家权重在闪存上,80% 预取命中率能否兑现取决于随机读延迟,这比标称算力更决定体感。第三看量化路线:4bit 是 3GB 这个数字成立的前提,若企业审计要求 fp16 无损,整模回到 70GB,端侧方案直接不成立。第四看芯片生态:MiniCPM-V 4.7 发布即支持 AMD、Apple、Arm、后摩、Intel、瑞芯微与 NVIDIA,并通过 FlagOS 覆盖兆芯、华为、海光、天数智芯、昆仑芯、沐曦、摩尔线程、燧原、平头哥、清微智能等平台,国产边缘盒子的可选项比一年前宽得多。
成本测算:端侧不是省钱,是买边界
按一台 9000 元档 16GB 平板、3 年折旧、日均 20 万输出 tokens 折算(13 token/s 约 4.3 小时/天),硬件摊到每百万 tokens 约 41 元;万元档手机约 46 元,2 万元档 4090 整机约 91 元。同期云端小模型 API 若按 1 至 3 元/百万 tokens,3 年同量只花 219 至 657 元。结论很直接:端侧不是降本路径。它只在两种情形下算得过账:设备属存量资产(边际成本约等于零),或数据根本不允许出域(合规成本远高于硬件差价)。
落地前要压测的三件事
一是长视频与多图场景的视觉编码器耗时,常比文本解码更早成为瓶颈;二是持续满载下的温度降频,20 token/s 是峰值口径,满载十分钟后可能回落到 12 至 14;三是长上下文与联网检索同时开启时的内存峰值,3GB 只是短上下文数字。企业采购建议先用自家三类真实任务(文档解析、图表问答、长视频摘要)各跑 50 条,再决定买 8GB 还是 16GB 档。
观察一句:端侧 MoE 的竞争维度已经从参数压缩转到存储调度,下一轮硬件采购的关键词是内存带宽与闪存延迟,而不是标称算力。谁先把 SSD 预取做成可测的 SLA,谁就先吃到企业私有化落地的订单。
来源:面壁智能 / OpenBMB 官方发布、PR Newswire、IT之家、凤凰网科技(终端速度为厂商自报口径)