15 个高频技术概念的结论与关键参数:每条都能独立回答一个问题,参数为公开口径,实测数据在项目 POC 中给出。
INT4 量化是什么?精度会损失多少?
INT4 量化把每个权重从 16 bit 压到 4 bit,权重显存约为 FP16 的四分之一,代价是精度损失,损失大小取决于模型与任务,必须逐模型实测。
- 权重体积约为 FP16 的 0.25(7B 模型 14.5 GB 降到 3.6 GB 量级)
- 主流后训练方法:GPTQ、AWQ,均不需要重新训练全模型
- 判断口径:显存受限优先 INT4;数学与代码任务对精度更敏感
KV 缓存(KV Cache)为什么比权重还吃显存?
KV 缓存保存已生成 token 的键值向量以避免重复计算,但它随上下文长度与并发数线性增长,长上下文场景常比模型权重本身更吃显存。
- 计算式:2 × 层数 × 隐藏维度 × 序列长度 × 批大小 × 每元素字节数
- FP16 下 70B 级模型约 5 MB/token(MHA 口径),GQA 约降到四分之一
- 32k 上下文 × 16 并发,MHA 下 KV 可达数百 GB 量级
用 显存与并发估算器 可按模型、量化、上下文与并发直接算。
文档切分(Chunk)多大合适?
chunk 是把长文档切成检索单元的大小设置,业界常见 256 到 1024 tokens、相邻块重叠 10% 到 20%;切得太碎丢上下文,切得太大降低检索命中率。
- 常见区间:256 / 512 / 1024 tokens,重叠 10% 到 20%
- 结构优先:按标题、条款、表格边界切,优于按固定字数硬切
- 中文按字符估:1 token 约 1.3 到 1.6 个汉字(随分词器变化)
向量数据库怎么选?
向量数据库存的是文档的语义向量,用近似最近邻检索找相关内容;选型看三项:召回率、单机 QPS、百万级数据下的 p99 延迟。
- 主流索引:HNSW(内存型,召回高)、IVF-PQ(压缩省内存)、DiskANN(磁盘型,超大规模)
- 关键指标:recall@10、QPS、p99 延迟、向量维度(常见 768/1024/1536/2048)
- 常见产品:Milvus、Qdrant、Weaviate、pgvector
RAG 和微调有什么区别?
RAG 先从知识库检索相关片段再交给模型生成答案,知识可更新、答案可溯源;效果上限由检索质量决定,不是由模型大小决定。
- 两阶段:检索 top-k 后带上下文生成
- 常见 top-k 为 3 到 10 条,配合重排可显著提升准确率
- 可溯源要求:答案附文档名、条款定位、版本号
LoRA 微调需要多少数据?
LoRA 冻结原模型权重,只训练低秩矩阵,可训练参数常低于总量的 1%,显存门槛远低于全参微调,适合任务风格与格式适配。
- 低秩维度 r 常用 8 到 64,alpha 常取 2r
- 可训练参数占比常低于 1%
- 显存约为全参微调的 1/3 到 1/5(视 r 与优化器)
全参微调和 LoRA 怎么选?
全参微调更新模型全部参数,效果上限高于 LoRA,但显存约为推理的 3 到 4 倍,需要更多高质量数据与更严的回滚管理。
- 显存构成:权重、梯度、优化器状态(Adam 约 2 份)、激活
- FP16 加 Adam 经验值约 16 到 18 字节每参数
- 任务适配常见 1000 到 50000 条高质量样本
Prefill 和 Decode 有什么区别?
推理分两段:prefill 一次性处理输入提示属计算密集,decode 逐个生成输出 token 属显存带宽密集;前者决定首字延迟,后者决定生成速度。
- 指标:TTFT(首 token 时间,prefill)、TPOT(每 token 时间,decode)
- prefill 吞吐高、decode 吞吐低,二者需分开压测
- 长输入场景 prefill 占比上升,卡数规划不能只看 decode
PagedAttention 解决什么问题?
PagedAttention 把 KV 缓存按页管理,像操作系统分页一样按需分配,显著减少显存碎片;它是 vLLM 高吞吐的核心机制。
- 效果:KV 显存浪费从常见 60% 到 80% 降到 4% 以下量级(论文口径)
- 副作用:页表管理有额外开销,短请求场景收益下降
- 已进入主流框架:vLLM、SGLang、TensorRT-LLM 均有类似实现
上下文长度是不是越长越好?
上下文长度指模型一次能看的 token 上限,注意力计算随长度平方增长、KV 缓存随长度线性增长,所以支持 128k 不等于 128k 场景可商用。
- 站内模型页已标注各模型上下文上限(32k / 128k 等)
- 显存:KV 与长度线性相关,128k 约为 32k 的 4 倍
- 有效长度小于标称长度:长文本中段召回普遍下降
显存门槛是怎么算出来的?
显存门槛等于权重、KV 缓存、激活与框架开销之和;模型页给的是权重口径,实际配置必须按并发与上下文复算,这也是同一模型报价差异大的主要原因。
- 权重:FP16 约 2 GB 每十亿参数,INT8 约 1,INT4 约 0.5
- 激活与框架开销常按权重 5% 到 10% 预留
- KV 随上下文与并发线性增长
估算工具:显存与并发估算器。
并发和 QPS 是一回事吗?
并发是同时在处理的请求数,QPS 是每秒完成的请求数,两者不是一回事:并发高但每个请求慢,QPS 反而低;容量规划要同时看 TTFT 与 TPOT。
- 关系:QPS 约等于并发除以平均响应时间
- 压测必须报三件:并发数、输入输出长度、p95 延迟
- 只报支持多少并发而不报长度与延迟的,视为无效指标
MoE 模型为什么 671B 却没那么吃显存?
MoE 模型总参数很大但每次只激活其中一部分专家,所以显存要装下全部专家、算力只按激活参数花;这解释了为什么 671B 模型的权重体积远小于 FP16 推算值。
- 例:DeepSeek-V3 总 671B、激活 37B
- 显存:全部专家都要驻留,容量按总参数算
- 算力:按激活参数算,吞吐接近小模型
投机解码能加速多少?
投机解码用一个小模型先草稿多个 token,再由大模型一次验证,在输出分布不变的前提下加速生成;实际加速取决于草稿命中率。
- 常见加速 2 到 3 倍(论文口径,视任务与草稿模型匹配度)
- 前提:草稿模型与大模型分布接近
- 代价:显存多一份草稿模型,实现复杂度上升
推理框架怎么选?
推理框架决定同一张卡能跑多少并发:vLLM 以 PagedAttention 见长,SGLang 强在复杂编排,TensorRT-LLM 在英伟达卡上吞吐最高但移植成本也最高。
- 选型维度:吞吐、延迟、模型支持广度、国产卡适配、运维复杂度
- 国产卡:优先看框架是否已适配(如昇腾 MindIE)
- 迁移成本:换框架往往需要重新压测与调参,不是改配置