16GB 卡跑 27B 安全模型:四个权重文件加起来 15.98GB,余量只剩 0.02GB
10 月 20 日,OrcaRouter 以紧急发布的口径把 OrcaCyber Nano 1.0 的权重放上 Hugging Face:27B 稠密视觉语言模型,262K 上下文,支持完全离线推理,专做防御性安全服务,包括逆向、漏洞分析与安全代码审计。厂商的定位很直白:这是安全工程师的模型,跑在你自己的机器上,被分析的二进制与日志不出机器。
一、四个文件档位,决定能不能落地
真正决定部署可行性的是权重仓库里的四个文件:主权重两档,15.70GB(带 MTP 头的最佳质量档)与 12.99GB(配 MTP drafter 后能塞进 16GB 卡的那档);另有 2.06GB 的 DFlash2 投机解码 drafter,以及 0.93GB 的视觉投影 mmproj。换算成位宽,12.99GB 档约 3.85 bit 每参数,15.70GB 档约 4.65 bit 每参数,都不是 8 bit,更不是满精度。
二、16GB 卡的余量是 0.02GB,不是够用
把厂商自己公布的尺寸加起来,16GB 这个卖点有多紧就一目了然:12.99 加 2.06 加 0.93 等于 15.98GB,在 16GB 卡上只剩 0.02GB 留给 KV 缓存与计算缓冲;而要走视觉输入,mmproj 省不掉。也就是说,16GB 跑 27B 成立的前提是放弃视觉、或放弃投机解码,二者取其一才腾得出几 GB 的上下文空间。若用 15.70GB 主权重加 drafter 与 mmproj,合计 18.69GB,必须上 24GB 卡。
结论是:262K 上下文属于模型的能力上限,而非 16GB 机器上的可用值。按 llama.cpp 常规 KV 开销估算,几百 MB 到 1GB 的余量只够几千 token 级的短上下文,单文件补丁审阅、单个函数逆向够用,整库扫描不够。
三、分数是厂商自报,追问的人还没得到回答
厂商公布的基准为 SWE-bench Verified 78.4%、LiveCodeBench 92.23%、Terminal-Bench 2.1 72.5%、HumanEval+ 93.29%、GPQA Diamond 88.28%、AIME 2025 96.23%,并主动注明:与 DeepSeek V4 Flash 自报的 79.0% 仅差 0.6 个百分点(相对差 0.76%),但评测配置不同,不构成受控对比。发布当天的 X 评论区有人直接追问,78.4% 是在能塞进 16GB 的量化档上测的,还是满精度测的,截至本文未见答复。这一条比任何榜单都关键:若高分来自满精度,你在本地跑的那档 3.85 bit 权重并不承担这个分数。
四、什么场景值得自建,什么场景不值得
值得的:合规硬约束导致代码、二进制、日志不能出内网(等保、数据出境、客户合同条款);离线或隔离网环境;需要审计留痕而不只是要答案。不值得的:只为省成本。27B 稠密模型在单卡上的吞吐远低于云端批处理集群,只有当不能外发是硬条件,本地部署的比较优势才成立。做法是把年度外发审阅量折算成云端 token 账单,再与一台 24GB 工作站三年折旧对比,前者更便宜就继续走 API。
还有两点容易漏。第一,权重协议沿用 qwen 许可,商用条款要单独核。第二,厂商写明敏感网络安全能力可能需要资质核验,即普通用户拿到的未必是全部能力。此外,安全模型自身的供应链风险也要评估,它读的恰好是你最敏感的代码。
五、三档硬件选型口径
16GB 卡:只跑 13G 档加 drafter,短上下文,做补丁级复审。24GB 卡:15.70GB 主权重加 drafter 与视觉,长上下文才成立,建议以此为起点。48GB 以上或双卡:才谈得上并发与整库扫描。工程侧还有个加分项,权重可直接在官方 llama.cpp 加载、无需自研 kernel,运维不必维护定制推理栈,升级跟着上游走,这类隐性成本比跑分更值得算。
观察:开放权重正把合规不可外发这个细分需求做成独立市场,安全审计是第一个爆点,因为这里的数据最不能出内网。但开放权重只解决拿不拿得到,不解决跑不跑得动。16GB 是营销口径,真实门槛是 24GB 起步。
来源:OrcaRouter 官方新闻稿(2026-10-20,PR Newswire)、Hugging Face 模型卡文件清单与加载说明、OrcaRouter X 账号评测帖。基准分数均为厂商自报,未经第三方复现。文/丁香