40B 代码模型塞进 48GB 笔记本:Flint 的 125 tok/s 得按带宽重算

行业新闻 · 丁香 · 发布 2026-10-22 · 阅读 42

一条发布,两类买家

10 月 21 日,成立不到半年的 Recursive 放出首款模型Flint:39.8B 总参数、每 token 只激活约 2.5B 的 MoE 代码模型,Apache 2.0 许可,权重已在 Hugging Face,Ollama 0.40.8 直接支持(当前仅 macOS 一档)。对私有化部署方来说,这条新闻的价值不在榜单名次,而在门槛到底落在哪台机器上。

结构决定显存档位

Flint 是 49 层解码器:前 2 层稠密,后 47 层 MoE,每 token 送进 256 个专家里的 6 个,另加 1 个常驻共享专家;35 层用 513 token 滑窗注意力,只有 14 层做全注意力。激活占比 2.5/39.8 约为 6.3%,这是它能跑在小机器上的根本原因,也意味着决定速度的是内存带宽而不是算力:按每 token 约 2 x 2.5B 即 5 GFLOPs 估算,150 tok/s 只需要 0.75 TFLOPS,这点算力任何现代 GPU 都不缺。

厂商自报的 125 与 150 tok/s,隐含了量化

把带宽账摊开算:BF16 下每 token 要读 5.0GB 权重,125 tok/s 需要 625 GB/s;而 M4 Pro 官方规格只有 273 GB/s,RTX Spark 标称 300 GB/s(GB10 口径 273 GB/s)。厂商自报的 125 tok/s(MacBook Pro M4 Pro)与 150 tok/s(RTX Spark)在 BF16 下物理上做不到,必须落在 Q4 一档:每 token 读约 1.4GB,125 tok/s 对应 175 GB/s、150 tok/s 对应 210 GB/s,各留出三成余量。Q4 全权重约 22.3GB,装进 48GB 统一内存占 46%,剩下的才是 KV cache 与系统开销。模型卡给出的 48GB 起跑线,与这条带宽推算自洽。

262K 上下文为什么没把内存吃穿

262,144 token 的上下文在端侧通常是灾难,Flint 用 35 层 513 窗口把 KV 增长压在少数层上,只有 14 层全注意力会随上下文线性上涨。选型时的实操含义是:长上下文任务的显存拐点不会像同尺寸稠密模型那样陡,但滑窗也会让超长文档的早期 token 逐步滑出,做整仓库代码审查要点名测试跨文件检索能力,而不是只看 262K 这个数字。

服务器侧的账:一卡一副本

官方给的服务端配置是一个 B300 或 H200 一副本,随权重附 SGLang 启动套件。BF16 权重 79.6GB,落在 H200 的 141GB 里占 56%,余量留给 KV 与并发;这正是百亿到四十亿级模型当前的主流私有化形态,不追集群,单卡一张副本,走 OpenAI 兼容 tool calls,并把至少预留 32,768 输出 token 写进 Agent 的预算里。

和旗舰开源模型差几个档位

把 Flint 放进今年的开源权重货架上看,量级差得很清楚:Kimi K3 是 2.8 万亿总参数的 MoE,GLM-5.3 是 753B 一档,Mistral Large 4 约 1.05 万亿总参数、52B 激活。这些模型的私有化门槛按机柜算,Flint 的门槛按单卡和一台笔记本算,二者不是替代关系,而是任务分层:旗舰负责复杂推理与长链路规划,40B 级负责日常补全、单文件重构和终端内循环。企业选型真正要算的,是哪些请求值得上旗舰卡、哪些留在本地,这个切分比例决定账单结构。

端侧落地的两个坑

第一是发行渠道的时效差:Ollama 0.40.8 已收录 Flint,但目前只支持 macOS,其他 GPU 平台要等后续版本;Windows 与 Linux 的批量下发只能先走 vLLM 或 SGLang 自建服务。第二是输出预算,模型卡建议难题至少预留 32,768 输出 token,端侧 48GB 内存里 KV 与输出预算挤在一起,长任务容易在末尾被截断,采购时要按最坏任务而不是平均任务配内存。

采购建议

三条边界。其一,试点阶段用 48GB 统一内存的机器跑 Q4,验收标准是自有任务通过率,不是发布会榜单;其二,量产要把 BF16 单卡副本与 Q4 端侧分开评估,量化后的效果衰减必须自己测,因为厂商给出的 SWE-bench Verified 74.2%、SWE-bench Pro v2 89.7%、Terminal-Bench 2.1 54.9% 全部属于厂商自报口径;其三,带宽是硬约束,想在笔记本上翻倍吞吐,换更高带宽的机型(410 或 546 GB/s 档)比换更多核心更直接。

一句观察:40B 级代码模型进 48GB 笔记本,真正被重构的不是模型能力,而是企业的采购清单,先比参数再比显存的时代结束了,先比带宽。

来源:Recursive 发布信息与模型卡、AI Chat Daily(10-22)、dailybrief(10-22);带宽规格引自 Apple 官方规格页与 NVIDIA RTX Spark 规格页。