27B 决策模型进不了 24GB 卡的 FP8 档:自建判断层,省的是不必生成的 token

行业新闻 · 丁香 · 发布 2026-10-23 · 阅读 41

一、4B 与 27B:先定尺寸,再谈场景

10 月 22 日,蚂蚁数科发布决策模型 LingDT-Decision-1.0,提供 4B 和 27B 两个参数档,官方定位是智能客服、安全风控与金融业务中的意图识别、任务分类、工具选择和风险判断。模型已上线蚂蚁数科 DTMaaS 平台,开发者可限时免费体验。

这个尺寸组合本身就是部署信号。过去一年多,企业做分类、路由、风控判断,普遍直接调用几百亿参数甚至更大的通用大模型:请求里塞上千字上下文,模型逐字吐出结论,再用正则或二次校验把文本抠成结构化字段。整条链路最贵的部分不是判断本身,而是把判断写成句子的过程。

二、省下的不是文本,是序列长度

LingDT-Decision-1.0 换了另一条路:把任务压进限定候选空间,直接输出选项或判断结果,不再逐字生成再解析。蚂蚁数科给出的口径是,数据标注场景对比 DS-V4-flash,Token 消耗降低约 97%、处理速度提升约 10 倍;智能客服场景对比 Qwen-3.7-flash,Token 降低约 90%、速度提升约 1 倍,风险识别准确率由 76% 升到 89%;金融场景幻觉召回率由 44% 升到 70%。以上数字均为厂商自报,尚无第三方复测。

另有两项能力值得单独记:原生多选,一次识别多个不互斥的诉求;按序决策,直接输出带依赖关系的有向无环图。前者省掉多次串行调用,后者让判断结果能咬合进业务流程引擎。

三、硬件账:27B 装不进 24GB 卡的 FP8 档

要把这类模型放进自己的机房,第一步不是看跑分,是算权重吃多少显存。按参数量推算,暂不计 KV 缓存与激活:27B 在 FP16 下约 54GB、FP8 或 INT8 约 27GB、INT4 约 13.5GB;4B 则是 8GB、4GB 和 2GB。

结论很直接:一张 24GB 卡可用显存约 22GB,27B 的 FP8 档装不进去,只能走 INT4——权重约 13.5GB,剩 8GB 左右留给 KV 缓存和并发;或者直接上 40GB、48GB 卡跑原精度。4B 反过来最灵活,一张 24GB 卡按 INT8 开四个副本,权重只吃 16GB,其余全给 KV,低延迟的客服前置判断这类活最划算。

四、成本测算:把 token 折成账单与回本周期

给一个可复算的负载:每天 100 万次判断请求,每次 1200 token 输入、60 token 输出,合计输入 12 亿、输出 6000 万 token。按当前 API 牌价(DeepSeek V4.1-Flash 闲时输入 1 元、输出 4 元每百万 token)折算,账单约 1440 元一天、4.3 万元一个月。若 token 量按厂商口径降到十分之一,同类请求的月成本落到 4300 元上下,每月省约 3.9 万元;一台 8 万元的单卡 24GB 工作站,回本周期约两个月。这组数是我们按假设负载与现价折算的,不是官方测算,换掉请求量与输出长度,结论会跟着动。

还有一个容易算错的点:决策模型省钱的机制是不生成,它替代不了对话、长文写作和多步推理。能吃掉的是企业 AI 流量里频率最高、结果空间最小的小决策——工单分派、意图识别、审批门禁、召回打分。把这块从通用大模型里拆出来,才是这张卡真正值钱的地方。

五、三条要先确认的事

权重还没到手。发布口径是 DTMaaS 平台限时免费体验,未见权重下载渠道,眼下私有化交付只能走平台或商务合作,采购计划里不能把马上本地跑写成既成事实。

数字都是自报。23 项开源基准用的是单选占九成、多选占一成的加权,这套权重由厂商设定;27B 综合第一、多选任务上超过 Microsoft-Decision-1、Jev 1.13.0 等十六款模型的结论,建议先拿自家业务样本复测再签字。

有向无环图不等于能执行。模型识别出任务依赖,不代表它能独立完成退款、改权限、关续费这些动作,仍要和既有业务规则、权限系统、执行工具对接;类别设计、阈值和误判兜底,业务侧一样要自己兜。

选型建议落成一句:先用 4B 打底做影子测试,把线上判断流量复制一份喂进去比对;边界样本交给 27B;只有确认真实便宜、且权重可获取之后,再谈替换。私有化里最便宜的那一档算力,从来不是更强的卡,而是不必生成的 token。

来源:蚂蚁数科 LingDT-Decision-1.0 发布信息,InfoQ、智东西、IT之家、PANews 报道(2026-10-22)。