138 lines
16 KiB
Markdown
138 lines
16 KiB
Markdown
# DeepSeek-V4.1-Flash：把 KV 缓存压缩推向极限
|
||
|
||
> **原文标题**：DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
|
||
> **arXiv**：[2609.19969](https://arxiv.org/abs/2609.19969) ｜ **发布**：17 Sep 2026
|
||
> **作者/机构**：DeepSeek-AI 团队（第一作者 Anyi Xu 等；DeepSeek 深度求索）
|
||
> **原文 PDF**：[07-DeepSeek-V4.1-Flash-2609.19969.pdf](./07-DeepSeek-V4.1-Flash-2609.19969.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
长时程（long-horizon）智能体的广泛采用，使模型工作负载日益呈现「输入密集」（input-heavy）的特征。尽管已有工作大幅降低了长上下文计算的开销，预填充（prefill）的计算成本依然高昂，庞大的 KV 缓存也持续给 HBM 与 SSD 容量以及数据传输带宽造成压力。这些算力、存储与带宽需求共同构成了进一步降低部署成本的主要瓶颈。为应对这一挑战，我们提出 DeepSeek-V4.1-Flash，一个多模态混合专家（Mixture-of-Experts, MoE）模型，主干参数为 552B，支持最长一百万 token 的上下文。借助其因果编码器-解码器（Causal Encoder-Decoder, CED）架构，该模型在解码（decode）阶段每个 token 激活 16B 参数，而在预填充阶段仅激活 8B 参数，显著提升了智能体工作负载的成本效率。
|
||
|
||
为把 KV 缓存压缩推向极限，DeepSeek-V4.1-Flash 将压缩稀疏注意力 2（Compressed Sparse Attention 2, CSA2）中的跨层 KV 缓存复用与 FP4 KV 缓存结合起来。这些设计把其全局 KV 缓存占用（始终位于 HBM）降至每 token 890 字节，约为 DeepSeek-V4-Flash 对应占用的 1/4。此外，通过一项名为「SWA 有界重放」（SWA Bounded Replay）的专门部署优化，DeepSeek-V4.1-Flash 把其持久化 KV 缓存占用（始终位于 SSD 或主机内存）降至 DeepSeek-V4-Flash 的大约 1/8。尽管 KV 缓存占用小得多，该模型的性能却显著优于基线。
|
||
|
||
此外，我们精简了 DeepSeek-V4 的架构，并引入了若干高效的架构扩展。我们在包含 45T token 的多模态语料上预训练 DeepSeek-V4.1-Flash，并开展了全面的后训练，从而在多样化的纯文本与多模态智能体场景中取得强劲性能。模型权重已在 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash 发布。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **CED 架构把预填充算力砍半**：解码器全局 KV 改由编码器末层隐状态投影得到，预填充只算一半层数，每 token 仅激活 8B 参数（解码 16B），复杂度由 $\mathcal{O}(NL)$ 降至约 $\mathcal{O}(NL/2)$。
|
||
2. **CSA2 沿三个乘性维度压缩 KV**：条目（GQA/MLA）、序列（每 $m$ 个 token 压成一条）与层（跨层共享主 KV 与 indexer K、复用 Top-K 索引）联合优化，全局 KV 压至每 token 890 字节，约 V4-Flash 的 1/4。
|
||
3. **层级稀疏索引器**：首个 Full 层按块选出候选池（2048 块 × 8 位置），后续 Reindex 层只在池内打分，每查询索引代价不再随上下文增长。
|
||
4. **FP4 主 KV 缓存**：把量化感知训练（QAT）扩展到主 KV，采用 MXFP4（E2M1 加每 16 通道一个 E4M3 缩放，省去 NVFP4 的二级全局缩放），主 KV 存储几乎减半而精度几乎无损。
|
||
5. **SWA Bounded Replay**：以只重放最近 $n_{\mathrm{win}}$ 个 token 的近似重建取代 $L\times n_{\mathrm{win}}$ 的精确重放，从而把 SWA KV 从持久化缓存中彻底移除，持久化 KV 占用降至 V4-Flash 的约 1/8。
|
||
6. **后训练收益来自数据与环境工程**：范式仍是 SFT → RL → 同策略蒸馏（OPD），改进集中于任务合成、环境构建与可控推理力度，使小体量模型在多项智能体基准上追平或超过闭源前沿。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 总体架构与关键配置
|
||
|
||
40 层多模态 MoE Transformer（20 层编码器 + 20 层解码器），隐藏维 5120，552B 主干参数加 196B Engram 参数；前两层纯滑动窗口注意力（SWA），其余层兼有全局与 SWA 分支。18 个编码器层用 CSA2（$m=2$）、20 个解码器层用 CSA2（$m=1$），每 4–6 层一组，组内首层取 Full 或 Reindex、其余 Reuse；索引器 32 头、top-k 512，$n_{\mathrm{win}}=128$。
|
||
|
||
### 3.2 因果编码器-解码器（CED）
|
||
|
||
CED 针对智能体频繁工具调用造成的预填充瓶颈（受 YOCO 启发）：底部 $L/2$ 层作因果编码器，解码器（$l>L/2$）的 KV 条目与压缩权重改由编码器末层隐状态 $H_{L/2}$ 逐层投影得到，
|
||
|
||
$$C_l=H_{L/2}W_l^{KV},\qquad Z_l=H_{L/2}W_l^{Z}$$
|
||
|
||
故预填充只需算前一半层。SWA 仍逐层计算以保持局部表示深度，代价是解码器 SWA KV 需额外处理 $n_{\mathrm{win}}\times L/2$ 个 token——这引出解码器有界重放；与 CSA2 结合时，解码器 Full 模式层直接由 $H_{L/2}$ 计算全局 KV。
|
||
|
||
### 3.3 CSA2：跨层 KV 与索引复用
|
||
|
||
已有工作各只覆盖部分维度：IndexCache 只复用索引、YOIO 全网络共享路由限制性能、HySparse 仍保留完整注意力层。CSA2 把复用解耦为三种静态模式，三者都保留自己的全局 Q 与 SWA KV：**Full** 计算主 KV 与 indexer Q、由主 KV 投影出 indexer K 并产出全新 Top-K；**Reindex** 复用前层主 KV 与 indexer K，但用自己的 indexer Q 重新打分，缓存共享不变而稀疏选择可随层变化；**Reuse** 复用主 KV 及其最新 Top-K 直接做稀疏注意力，不算 indexer Q。CSA2 另去掉了 CSA 中重叠的 $2m$ 个源条目与绝对位置嵌入。
|
||
|
||
### 3.4 层级稀疏索引器
|
||
|
||
跨层复用减少了索引器调用，但剩余 indexer 仍要扫描全部因果可见位置。首个 Full 层对全范围打分并做块级候选选择（每块取位置中的最大索引分数），把被选块覆盖的位置汇成大于最终 Top-K 的候选池（2048 块 × 8 位置 = 16384 个位置）；后续 Reindex 层只在池内打分并各选 Top-K。于是候选池共享而各层选择可不同，每查询打分位置数与上下文长度无关（首个 Full 层仍全范围扫描），且该限制训练与推理一致。
|
||
|
||
### 3.5 高效架构扩展
|
||
|
||
**Single-Pass m HC**：m HC 在相邻块间维持 $n$ 条残差流；V4 的三内核实现因数据依赖串行，激活访存达 $(4n+4)d$，而理想下界为 $(2n+2)d$。Single-Pass 把输入混合系数后移一个块，
|
||
|
||
$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_{l-1}X_l)$$
|
||
|
||
使输入混合不再依赖由 $X_l$ 算出的系数，分块可立即同时用于输入混合与系数预测，达到 $(2n+2)d$ 的理想访存而实测损失可忽略；部署侧融合内核 Mega-m HC 把激活访存减半。**Engram**：沿用 tokenizer 压缩、多头哈希与门控集成，去掉短因果卷积，196B 参数均分两模块（$N$-gram 阶 $\{2,3,4\}$、8 哈希头、FP8），置于第 1、14 层，推理时经 RDMA 从主机内存预取。**DSpark**：3 个窗口 128 的块一次前向并行产出 5 个草稿位置 logits，Markov 头建模草稿间依赖、置信头估计前缀存活概率以选取验证长度；它预训练后单独训练，后训练同训但梯度不回传主干。
|
||
|
||
### 3.6 FP4 主 KV 缓存
|
||
|
||
V4 已对 indexer 的 Q/K 使用 FP4 的 QAT；V4.1 把 QAT 扩展到主 KV，此时 FP4 只省存储（注意力前先反量化，故不需硬件原生支持该格式的矩阵乘）。格式选 E2M1 加每 16 通道一个 E4M3 缩放因子（仿 NVFP4 但省去二级全局缩放）：它可表示到 $448\times6=2688$，而训练中最大幅度约 10，动态范围充裕。量化置于 RoPE 之后；SWA KV 因对量化敏感仍保留 FP8。相比 V4 的 FP8 主 KV，存储几乎减半。
|
||
|
||
### 3.7 优化器与训练配置
|
||
|
||
优化器分工：线性变换用 Muon（动量 0.95、更新矩阵 RMS 重标定为 0.18），RMSNorm 等非矩阵参数用 AdamW，嵌入与预测头用 Sinkhorn 均衡更新。两处新改动：**逐头 Muon** 把 Query 权重按头切分后再施加 Muon，以不同预条件子契合头间异质性，实测优于原始 Muon；**Sinkhorn 均衡更新** 因 Engram 参数用 Adam 会带来巨大优化器状态开销，改用只保留动量缓冲的动量加 Sinkhorn：取 Nesterov 动量、遮蔽近零行后交替对行与列做 $\ell_2$ 归一化得 $\Delta_t=\sqrt{n}\,D_r\widehat{G}_tD_c$，近似拉平更新矩阵的行、列 RMS，并以 $\gamma=0.18$ 匹配 Adam 的更新幅度。训练用 45T token 多模态语料、批量 100.6M token，以 64K 从零训练稀疏注意力，34T token 时扩至 1M。
|
||
|
||
### 3.8 推理系统与部署策略
|
||
|
||
内核融合使绝大多数层（CSA2 处于 Reuse 模式者）预填充只需 15 个内核、解码 11 个；部署采用编码-预填充-解码分离。压缩的另一半来自持久化 KV 管理：V4 中 SWA KV 占近一半容量，却只在活跃会话的分钟级窗口被复用、会话结束即失效，故 V4.1 把它移出持久化缓存，改存于每台机器 10% 主机 DRAM 构成的内存池（TTL 仅数分钟），全局 KV 仍保证至少 72 小时存活。未命中由两条有界重放兜底：**编码器侧**只重放缓存前缀最后 $n_{\mathrm{win}}$ 个 token 并与未缓存后缀合并处理，重放段只重建 SWA KV、复用已有全局 KV，使前缀缓存只依赖全局 KV；**解码器侧**只重放 prompt 最后 $n_{\mathrm{win}}$ 个 token，把其编码器输出在同样的 SWA 截断下送入解码器层，所得 SWA KV 只用于解码。重建仅为近似，但论文称质量影响可忽略。
|
||
|
||
### 3.9 后训练：数据与环境驱动
|
||
|
||
后训练仍是 SFT → RL → OPD 且无算法改动，收益来自数据与环境：任务形式化为（问题、环境、验证系统）三元组；环境侧，通用智能体由伙伴回传的交互数据构建模拟工具，编码智能体取自内部编码会话与达星标公开仓库。RL 在算力与 scaffold 两维扩展；异步 rollout 与训练共置、按样本级派发维持并发；末段为多域全词表 OPD，用 40 多个可与学生异构的教师。可控推理力度方面，系统提示前插入 `Reasoning Effort: {effort}`（$b\in\{1,\dots,100\}$），同 $(x,b)$ 子组内做奖励均值中心化，长度惩罚
|
||
|
||
$$r_{b,j}^{\mathrm{len}}=-\min\left\{C_{\max},\;k(b)\frac{\ell_{b,j}}{L_{\mathrm{norm}}}\right\},\qquad k(b)=k_{0}\exp\left(-\frac{b-b_{\min}}{\tau}\right)$$
|
||
|
||
随请求力度指数衰减；公开 API 映射为 max=100、high=75、low=50 三档。
|
||
|
||
## 四、主要实验结果
|
||
|
||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||
|---|---|---|---|
|
||
| 全局 KV 缓存 / token | 890 字节 | DeepSeek-V4-Flash 约 4×；DeepSeek-V1 约 437× | 恒在 HBM；约为 V4-Flash 的 1/4 |
|
||
| 持久化 KV 缓存 | 约为 V4-Flash 的 1/8 | DeepSeek-V4-Flash | 经 SWA Bounded Replay；含「不再存 SWA KV」与「全局 KV 压到 1/4」两个乘性因子 |
|
||
| 单 token 解码 FLOPs | 4K→1M 上下文仅增约 1/4 | DeepSeek-V4-Flash 增长明显更多 | 精度按 BF16/FP8/FP4 权重 1 / 0.5 / 0.25 折算 |
|
||
| MMLU-Pro (EM, 5-shot, Base) | 74.1 | V4-Pro 73.5；V4-Flash 68.3 | 参数仅 1/3、激活仅 1/4 |
|
||
| SimpleQA-Verified (EM, Base) | 42.3 | V4-Pro 55.2；V4-Flash 30.1 | 世界知识仍落后 1.6T 的 V4-Pro |
|
||
| HumanEval (Pass@1, Base) | 79.4 | V4-Pro 76.8；V4-Flash 69.5 | |
|
||
| 多模态 Base（MMMU-Pro / DocVQA / CVBench / RefCOCO-avg） | 56.5 / 95.6 / 77.9 / 86.0 | 前代无对应成绩 | 原生多模态首次进入该系列 |
|
||
| GPQA Diamond (Pass@1) | 90.9 | Opus-5 93.4；GPT-5.6 Sol 94.1；K3 92.9；V4-Pro 92.4；V4-Flash 89.9 | 高于前代，仍低于闭源前沿 |
|
||
| HLE (Pass@1) | 36.8（纯文本 39.1） | Opus-5 56.3；GPT-5.6 Sol 44.5；K3 43.5 | 明显差距项 |
|
||
| Codeforces (Rating) | 3471 | V4-Pro 3348；V4-Flash 3289 | 超过两代前作 |
|
||
| MathArena Apex (Pass@1) | 65.6 | K3 65.6；V4-Pro 65.3；V4-Flash 58.6 | 与最强开源基线持平 |
|
||
| Terminal-Bench 2.1 (Pass@1) | 90.6 | Opus-5 89.1；GPT-5.6 Sol 88.8；K3 88.3；GLM-5.3 88.2；V4-Flash 82.7 | 该基准第一 |
|
||
| Terminal-Bench 3.0 (Pass@1) | 30.0 | Opus-5 43.3；GPT-5.6 Sol 34.4；V4-Pro 11.8；V4-Flash 7.6 | 大幅超越前代，仍落后闭源 |
|
||
| Terminal-Bench 4.0 (Pass@1) | 31.2 | Opus-5 51.8；GPT-5.6 Sol 39.9 | 专家级科学向智能体任务存在差距 |
|
||
| DeepSWE v1.1 (Resolved) | 74.2 | Opus-5 74.0；GPT-5.6 Sol 73.0；K3 67.5；V4-Pro 62.7；V4-Flash 54.4 | 超过全部对比对象 |
|
||
| ProgramBench (Almost@1) | 20.3 | Opus-5 37.0；GPT-5.6 Sol 23.0 | V4-Flash 未报告 |
|
||
| NL2Repo-Bench (Score) | 65.4 | Opus-5 75.3；V4-Pro 61.5 | |
|
||
| CyberGym (Pass@1) | 88.1 | GPT-5.6 Sol 84.5；GLM-5.3 84.5；V4-Pro 83.3 | 开源模型中新的 SOTA |
|
||
| SEC-Bench Pro (Pass@1) | 62.8 | GPT-5.6 Sol 74.3；V4-Pro 56.4；V4-Flash 30.9 | |
|
||
| ExploitGym (Pass@1) | 15.3 | GPT-5.6 Sol 33.7；Opus-5 22.1 | 前代为 1.8 |
|
||
| HLE w/ tools (Pass@1) | 63.9 | Opus-5 63.6；GLM-5.3 62.5；V4-Pro 60.0 | 工具调用版反超 Opus-5 |
|
||
| Automation-Bench (Pass@1) | 54.8 | Opus-5 50.3；GLM-5.3 48.8 | 通用智能体第一 |
|
||
| Agents' Last Exam (Pass@1) | 31.8 | Opus-5 28.6；GLM-5.3 28.5 | 通用智能体第一 |
|
||
| Chartography w/ tools (Pass@1) | 78.9 | Opus-5 84.0；GPT-5.6 Sol 79.9；K3 68.1 | 视觉智能体：超开源、落后闭源 |
|
||
| BabyVision w/ tools (Pass@1) | 89.6 | Opus-5 94.1；GPT-5.6 Sol 88.9；K3 85.7 | |
|
||
| ZeroBench-main w/ tools (Pass@5) | 49.0 | GPT-5.6 Sol 53.0；Opus-5 52.0；K3 41.0 | |
|
||
| 推理力度 25→100（8 项推理基准均值 Pass@1） | 67.1 → 76.3 | 输出 token 约 2.5× | 60–80 档已拿到接近满档精度、token 不到一半 |
|
||
| 推理力度 25→100（DeepSWE v1.1 / TB 2.1） | 66.0 → 74.2 / 82.4 → 90.6 | 末段到 100 使轨迹变长 1.6–1.8× | 收益前重后轻 |
|
||
| 跨 scaffold 稳健性（8 种配置，DeepSWE v1.1） | 65.5 – 74.2 | Claude Code / Codex / OpenCode / Pi / mini-SWE / DSH（Minimal、Standard、PTC） | TB 2.1 为 84.1 – 90.6 |
|
||
| 多智能体（ProgramBench Almost@1） | 1h 13.59% → 8h 峰值 30.04% | 单智能体 12.79% → 20.39% | 每个时限点多智能体均领先 |
|
||
| 多智能体（FrontierSWE v2 Mean@5） | 1h 13.50% → 20h 32.90% | 单智能体 10.50% → 28.20% | 结果为初步实验 |
|
||
|
||
基座上，模型用 1/3 总参数与 1/4 激活参数即达到 V4-Pro-Base 相当的世界知识、推理与编码水平，留出评测提升 5%–10%（内部语料 BPB 全部最低），但 SimpleQA-Verified（42.3 对 55.2）与 LongBench-V2（45.2 对 51.5）等知识密集与长上下文项仍落后 1.6T 的 V4-Pro。后训练后在 DeepSWE v1.1、Terminal-Bench 2.1、Automation-Bench、Agents' Last Exam、CyberGym 上取得对比最优。差距集中在需要专家级领域知识的科学向任务（Terminal-Bench 4.0 的 31.2 对 51.8）、知识型推理（HLE 36.8 对 56.3）与部分视觉智能体项（Chartography 78.9 对 84.0）。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：联合优化把 KV 缓存推到新极限——全局 KV（恒在 HBM）每 token 890 字节、约 V4-Flash 的 1/4，持久化 KV 降至约 1/8；CED 让预填充每 token 只激活 8B（解码 16B）。体量虽小，性能却显著优于 V4-Flash，并与 GLM-5.3、Kimi-K3 在关键基准上持平或更优。
|
||
- **局限性**：作者自述新架构存在尚未完全刻画的鲁棒性边界；CSA2 的索引选择错误与 SWA Bounded Replay 的近似状态重建，仍可能在未覆盖的边界情形下造成能力退化。作者亦指出基准日趋饱和，分数接近不代表在复杂高难推理上追平闭源前沿。
|
||
- **影响**：缓解 HBM 与 SSD 容量及带宽压力，降低长时程智能体的部署成本；「用少量预填充重算换掉持久化 SWA 存储」确立了新的存储–计算权衡；后训练的经验信号是，在优化流程固定时，数据与环境管线在规模、多样性与可验证性上的提升几乎贡献了全部收益。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| KV Cache | 键值缓存 |
|
||
| Prefill / Decode | 预填充 / 解码 |
|
||
| Causal Encoder-Decoder (CED) | 因果编码器-解码器 |
|
||
| Compressed Sparse Attention 2 (CSA2) | 压缩稀疏注意力 2 |
|
||
| Sliding-Window Attention (SWA) | 滑动窗口注意力 |
|
||
| SWA Bounded Replay | SWA 有界重放 |
|
||
| Hierarchical Sparse Indexer | 层级稀疏索引器 |
|
||
| Persistent KV Cache | 持久化 KV 缓存 |
|
||
| Quantization-Aware Training (QAT) | 量化感知训练（主 KV 采用 MXFP4 格式） |
|
||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||
| m HC | 多残差流混合 |
|
||
| Engram | 条件记忆模块（Engram） |
|
||
| DSpark | 半自回归投机解码模块（DSpark） |
|
||
| On-Policy Distillation (OPD) | 同策略蒸馏 |
|
||
| Reasoning Effort | 推理力度 |
|