新增: DeepSeek 全部 33 篇官方论文(原文 PDF 走 Git LFS + 中文精读笔记与索引)
This commit is contained in:
ylhan
@@ -0,0 +1,155 @@
|
||||
# DeepSeek LLM：以长期主义扩展开源语言模型
|
||||
|
||||
> **原文标题**：DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
|
||||
> **arXiv**：[2401.02954](https://arxiv.org/abs/2401.02954) ｜ **发布**：2024 年 1 月 5 日（v1）
|
||||
> **作者/机构**：DeepSeek-AI（Xiao Bi、Deli Chen、Guanting Chen 等，按姓氏字母序排列；DeepSeek 深度求索）
|
||||
> **原文 PDF**：[01-DeepSeek-LLM-2401.02954.pdf](./01-DeepSeek-LLM-2401.02954.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
开源大语言模型（Large Language Models, LLMs）的快速发展确实令人瞩目。然而，以往文献中所描述的缩放定律（scaling laws）给出了各不相同、彼此矛盾的结论，这为扩展大语言模型蒙上了一层阴影。
|
||||
|
||||
我们深入研究缩放定律，并给出了我们独特的发现，这些发现有助于以两种当前被广泛使用的开源配置——7B 与 67B——来扩展大规模模型。
|
||||
|
||||
在缩放定律的指导下，我们提出了 DeepSeek LLM，这是一个以长期视角（long-term perspective）致力于推进开源语言模型的项目。为支撑预训练阶段，我们构建了一个目前包含 2 万亿（2 trillion）token 且仍在持续扩充的数据集。我们进一步在 DeepSeek LLM Base 模型上开展有监督微调（Supervised Fine-Tuning, SFT）与直接偏好优化（Direct Preference Optimization, DPO），由此得到 DeepSeek Chat 模型。
|
||||
|
||||
我们的评估结果表明，DeepSeek LLM 67B 在一系列基准上超越了 LLaMA-2 70B，尤其是在代码、数学与推理等领域。此外，开放式评估（open-ended evaluation）显示，我们的 DeepSeek LLM 67B Chat 相比 GPT-3.5 展现出更优的表现。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **超参数缩放定律（Scaling Laws for Hyperparameters）**：为批大小（batch size）与学习率建立关于算力预算 $C$ 的幂律关系式，保证不同预算下的模型都落在近最优区间——解决早期工作未交代超参数、无法确认各预算模型是否最优的隐患。
|
||||
2. **提出新的模型规模表示 $M$**：以非嵌入 FLOPs/token 取代参数量 $N$，把粗糙的 $C=6ND$ 换成 $C=MD$，使模型/数据最优分配与大规模模型泛化损失预测更准（旧表示在小模型上误差可达 50%）。
|
||||
3. **揭示数据质量会改变最优分配策略**：数据质量越高，新增算力应越多投向模型而非数据，并把分配系数的差异反过来当作评估数据质量的手段——这可能是各研究缩放结论矛盾的根因。
|
||||
4. **从零训练并开源 DeepSeek LLM 7B / 67B**：在 2 万亿中英双语 token 上预训练，微调数据约 150 万条；67B 在代码、数学、推理及中文基准上超越 LLaMA-2 70B。
|
||||
5. **对齐流程与开放域表现**：SFT + DPO 得到的 DeepSeek 67B Chat 在中文 AlignBench 上超过 ChatGPT、仅次于两版 GPT-4；英文 MT-Bench 上 DPO 版达 8.76。
|
||||
6. **工程经验与反「刷榜」立场**：公开两阶段微调、多选数据注入、系统提示（system prompt）缩放效应等发现，并拒绝为提高榜单分数注入多选数据。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 数据：去重、过滤、重混与分词器
|
||||
|
||||
数据构建分三步：**去重（deduplication）、过滤（filtering）、重混（remixing）**。去重的痛点是只在单个 dump 内去重会遗留大量跨 dump 重复，因此作者把范围扩大到整个 Common Crawl：跨 91 个 dump 统一去重时去重率达 89.8%，而单 dump 仅 22.2%，前者消除的文档量是后者的四倍。过滤阶段从语言与语义两个层面建立质量评估标准，兼顾个体与全局视角以提升信息密度；重混阶段针对数据不平衡，加大代表性不足领域的采样比重。
|
||||
|
||||
分词器采用基于 tokenizers 库的字节级字节对编码（Byte-level BPE, BBPE），并像 GPT-2 一样做预分词，避免换行、标点与中日韩（CJK）符号等不同字符类别之间的 token 合并；数字按 LLaMA 做法拆成单个数字位。常规词表规模设为 100000，在约 24 GB 多语种语料上训练，另加 15 个特殊 token 共 100015；模型实际词表配置为 102400，以留出扩展空间。
|
||||
|
||||
### 3.2 架构与超参数：微观沿用 LLaMA，宏观刻意加深深层
|
||||
|
||||
微观设计大体沿用 LLaMA：Pre-Norm + RMSNorm、FFN 用 SwiGLU 且中间层维度为 $\frac{8}{3}d_{model}$、位置编码用旋转位置编码（Rotary Embedding）。为降低推理开销，67B 用分组查询注意力（Grouped-Query Attention, GQA）替代多头注意力（Multi-Head Attention, MHA）。
|
||||
|
||||
宏观设计刻意不同：7B 为 30 层，67B 为 **95 层**；作者没有像多数 GQA 工作那样加宽 FFN 中间维度，而是把 67B 的参数扩张放在网络深度上，以求更好性能，同时保持与其他开源模型相当的参数量，并便于流水线切分。
|
||||
|
||||
具体配置（Table 2）：
|
||||
|
||||
| 模型 | $n_{layers}$ | $d_{model}$ | $n_{heads}$ | $n_{kv\_heads}$ | 序列长度 | 批大小 | 学习率 | 训练 token |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 7B | 30 | 4096 | 32 | 32 | 4096 | 2304 | 4.2e-4 | 2.0T |
|
||||
| 67B | 95 | 8192 | 64 | 8 | 4096 | 4608 | 3.2e-4 | 2.0T |
|
||||
|
||||
初始化标准差 0.006，优化器为 AdamW，$\beta_1=0.9$、$\beta_2=0.95$、weight_decay $=0.1$，梯度裁剪 1.0。**关键替换：用多步（multi-step）学习率调度器替代余弦调度器**——2000 步 warmup 后达到峰值，训练 80% token 后降至峰值的 31.6%，90% 后降至 10%。两者最终性能基本一致，但多步调度器允许扩大训练规模时复用第一阶段结果，便于持续训练（continual training）；三段比例调激进虽略优，为兼顾复用比例仍取 80%/10%/10%。
|
||||
|
||||
### 3.3 训练基础设施
|
||||
|
||||
使用轻量框架 HAI-LLM，集成数据并行、张量并行、序列并行与 1F1B 流水线并行，配合 FlashAttention 与 ZeRO-1（切分优化器状态）；工程上重叠计算与通信（如最后 micro-batch 反传与 ZeRO-1 reduce-scatter），并融合 LayerNorm、GEMM、Adam 更新等算子。为稳定训练，以 bf16 计算、fp32 累积梯度；采用原地（in-place）交叉熵，在内核中把 bf16 logits 即时转 fp32 并算出梯度后覆写 logits，降低显存占用。权重与优化器状态每 5 分钟异步保存，最坏只损失 5 分钟进度，并支持换用不同 3D 并行配置恢复；评估时生成式任务用 vLLM，非生成式任务用连续批处理（continuous batching）。
|
||||
|
||||
### 3.4 缩放定律：先定超参数，再定模型/数据配比
|
||||
|
||||
**超参数缩放定律**：在 1e17 预算的小规模实验上网格搜索批大小与学习率，发现泛化误差在很宽区间内保持稳定；把误差超出最小值不超过 0.25% 的参数视为「近最优」，并借多步调度器复用第一阶段，在 1e17–2e19 训练多组模型拟合得到：
|
||||
|
||||
$$\eta_{\mathrm{opt}} = 0.3118 \cdot C^{-0.1250}, \qquad B_{\mathrm{opt}} = 0.2920 \cdot C^{0.3271}$$
|
||||
|
||||
即算力越大，最优批大小越大、学习率越小。作者坦承该式未考虑算力之外的因素，同等算力下不同配比的最优参数空间亦略有差异。
|
||||
|
||||
**新的模型规模表示**：$C=6ND$ 忽略了注意力算子的开销（完整参数版本还计入对容量贡献较小的词表计算），小模型上误差可达 50%。作者改用非嵌入 FLOPs/token $M$：
|
||||
|
||||
$$6N_1 = 72\,n_{layer}\,d_{model}^{2},\quad 6N_2 = 72\,n_{layer}\,d_{model}^{2}+6\,n_{vocab}\,d_{model}$$
|
||||
|
||||
$$M = 72\,n_{layer}\,d_{model}^{2}+12\,n_{layer}\,d_{model}\,l_{seq}, \qquad C = MD$$
|
||||
|
||||
其中 $6N_1/M$ 在 0.43–0.92、$6N_2/M$ 在 0.81–1.32 之间，偏差具有系统性。优化目标形式化为：
|
||||
|
||||
$$M_{\mathrm{opt}}(C), D_{\mathrm{opt}}(C)=\underset{M,D\ \mathrm{s.t.}\ C=MD}{\mathrm{argmin}} L(N,D)$$
|
||||
|
||||
采用 Chinchilla 的 IsoFLOP profile，取 8 个算力预算（1e17–3e20）、每预算约 10 种配比，超参数由上式确定，泛化误差在含 100M token 的独立验证集上以 bits-per-byte 度量。拟合结果：
|
||||
|
||||
$$M_{\mathrm{opt}} = 0.1715 \cdot C^{0.5243}, \qquad D_{\mathrm{opt}} = 5.8316 \cdot C^{0.4757}$$
|
||||
|
||||
即模型规模指数略大于数据规模指数，算力增长应更多投向模型；该曲线成功预测了 7B/67B 性能（小规模实验可预测 1000 倍算力的模型）。
|
||||
|
||||
**数据质量改变缩放行为**：在三套数据上重复拟合后，质量越高则 $a$ 越大、$b$ 越小。直观解释是高质量数据逻辑清晰、充分训练后预测难度更低，更值得扩大模型。
|
||||
|
||||
| 方法（数据） | 模型缩放系数 $a$ | 数据缩放系数 $b$ |
|
||||
|---|---|---|
|
||||
| OpenAI（OpenWebText2） | 0.73 | 0.27 |
|
||||
| Chinchilla（MassiveText） | 0.49 | 0.51 |
|
||||
| 本文（早期内部数据） | 0.450 | 0.550 |
|
||||
| 本文（当前内部数据） | 0.524 | 0.476 |
|
||||
| 本文（OpenWebText2） | 0.578 | 0.422 |
|
||||
|
||||
### 3.5 对齐：SFT 与 DPO
|
||||
|
||||
对齐数据约 150 万条中英指令，覆盖有益性（helpfulness）与无害性（harmlessness）：有益数据 120 万条，其中通用语言任务 31.2%、数学题 46.6%、编程练习 22.2%；安全数据 30 万条，覆盖各类敏感话题。
|
||||
|
||||
SFT 阶段 7B 微调 4 个 epoch、67B 仅 2 个（67B 过拟合明显），学习率分别为 1e-5 与 5e-6；7B 上 GSM8K 与 HumanEval 持续提升，67B 很快触及上限。作者还用 3868 条中英提示监测「重复率」（生成无法终止、无限重复文本的比例），发现数学 SFT 数据越多重复越高——数学数据推理模式相似，弱模型难以掌握；两阶段微调与 DPO 都能几乎保分并显著降重。DPO 按有益性与无害性构造偏好数据（候选回复由 DeepSeek Chat 生成），训练 1 个 epoch、学习率 5e-6、批大小 512，配合 warmup 与余弦调度，增强开放域生成能力而对标准基准影响不大。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| MATH（4-shot，Base） | 67B：18.7 | LLaMA-2 70B：13.5 | 数学大幅领先 |
|
||||
| GSM8K（8-shot，Base） | 67B：63.4 | LLaMA-2 70B：58.4 | 同上 |
|
||||
| HumanEval（0-shot，Base） | 67B：42.7 | LLaMA-2 70B：28.7 | 代码优势最显著 |
|
||||
| MBPP（3-shot，Base） | 67B：57.4 | LLaMA-2 70B：45.6 | 同上 |
|
||||
| BBH（3-shot，Base） | 67B：68.7 | LLaMA-2 70B：62.9 | 推理领先 |
|
||||
| AGIEval（0-shot，Base） | 67B：41.3 | LLaMA-2 70B：37.2 | 标准化考试 |
|
||||
| MMLU（5-shot，Base） | 67B：71.3 | LLaMA-2 70B：69.0 | 英文知识小幅领先 |
|
||||
| Pile-test（BPB，Base） | 67B：0.642 | LLaMA-2 70B：0.649 | 越低越好 |
|
||||
| RACE-High（5-shot，Base） | 67B：50.7 | LLaMA-2 70B：54.3 | 英文阅读理解落后 |
|
||||
| DROP（F1，1-shot，Base） | 67B：67.9 | LLaMA-2 70B：69.2 | 略有差距 |
|
||||
| C-Eval（5-shot，Base） | 67B：66.1 | LLaMA-2 70B：51.4 | 中文知识断层领先 |
|
||||
| CMMLU（5-shot，Base） | 67B：70.8 | LLaMA-2 70B：53.1 | 同上 |
|
||||
| CHID（0-shot，Base） | 67B：92.1 | LLaMA-2 70B：55.5 | 成语理解 |
|
||||
| CCPM（0-shot，Base） | 67B：88.5 | LLaMA-2 70B：66.2 | 中文文化 |
|
||||
| C3（0-shot，Base） | 67B：75.3 | LLaMA-2 70B：61.7 | 中文阅读理解 |
|
||||
| CMath（3-shot，Base） | 67B：63.0 | LLaMA-2 70B：53.9 | 中文数学 |
|
||||
| GSM8K（0-shot，Chat） | 67B Chat：84.1 | 67B Base：63.4 | 微调后 +20.7 分 |
|
||||
| HumanEval（0-shot，Chat） | 67B Chat：73.8 | 67B Base：42.7 | 微调后 +31.1 分 |
|
||||
| MT-Bench（英文开放域） | 67B Chat DPO：8.76 | GPT-3.5-turbo-0613：8.39；GPT-4-1106-preview：9.26 | 仅次于 GPT-4 |
|
||||
| AlignBench（中文开放域） | 67B Chat DPO：6.69 | ChatGPT(gpt-3.5-turbo-0613)：6.08；gpt-4-1106-preview：8.01 | 超越 ChatGPT，仅次于两版 GPT-4 |
|
||||
| LeetCode（held-out） | 67B Chat：17.5 | Qwen 72B Chat：12.7；GPT-4：48.4 | 新题泛化仍远逊 GPT-4 |
|
||||
| 匈牙利高中数学竞赛（held-out） | 67B Chat：58 | Qwen 72B Chat：52；GPT-4：68 | 人工评分 |
|
||||
| IFEval（指令遵循，held-out） | 67B Chat：55.5 | Qwen 72B Chat：50.8；GPT-4：79.3 | prompt-level loose |
|
||||
| Do-Not-Answer（安全） | DeepSeek-67B-Chat：97.8 | ChatGPT：97.7；GPT-4：96.5；LLAMA-2-7B-Chat：99.4 | 分数越高越安全 |
|
||||
| HumanEval（对比代码专精模型） | DeepSeek-LLM-Chat 67B：73.8% | Wizard-Coder 34B：73.2% | 代码数据更少但持平 |
|
||||
| GSM8K（对比数学专精模型，CoT） | 67B Chat：84.1% | MetaMath 70B：82.3% | 跨语言数学全面领先 |
|
||||
| GSM8K（工具集成推理，TIR） | 67B Chat：86.7% | ToRA-Code 34B：80.7% | 程序辅助解题优于 CoT |
|
||||
|
||||
领先集中在代码、数学、推理与中文任务：67B 相对 LLaMA-2 70B 在 HumanEval（42.7 vs 28.7）、MBPP（57.4 vs 45.6）、MATH（18.7 vs 13.5）、GSM8K（63.4 vs 58.4）、BBH（68.7 vs 62.9）及几乎全部中文基准（C-Eval 66.1 vs 51.4、CHID 92.1 vs 55.5）上明显更好；在 2T 中英双语数据、不如 LLaMA-2 纯英文专注的前提下，英文语言理解基准（HellaSwag 84.0 对 84.0、ARC、OpenBookQA）基本持平。仍有差距的是 RACE-High（50.7 vs 54.3）、DROP（67.9 vs 69.2）、TriviaQA（78.9 vs 79.5）与 WinoGrande（79.8 vs 80.4）。67B 对 LLaMA-2 70B 的优势大于 7B 对 7B，说明「语言冲突」对更小模型伤害更大；LLaMA-2 未专门训练中文却在 CMath 上不俗，说明数学推理等能力可跨语言迁移，而 CHID 这类需大量中文语料浸润的任务则显著落后。对齐后 Chat 模型在数学与代码上提升超过 20 分，知识/推理类基准仅达到「零样本逼近基座少样本」水平，而 HellaSwag 这类完形任务稳定下降。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：作者从头训练了 2 万亿中英双语 token 的 DeepSeek LLM 系列，交代了超参数选择、缩放定律与微调尝试；校准了此前的缩放定律，提出新的最优模型/数据分配策略（$a=0.5243$、$b=0.4757$），给出「按算力预算预测近最优批大小与学习率」的方法，并指出缩放定律与数据质量相关——这可能是各研究缩放结论矛盾的根因。作者强调所有训练阶段都避免「榜单装饰」与暗箱操作。
|
||||
- **局限性**（作者自述）：DeepSeek Chat 存在大模型通病：预训练后缺乏持续知识更新、可能给出非事实信息（如未经验证的建议）、易产生幻觉；初始版本中文数据不够完备，部分中文特定话题欠佳；数据以中英为主，其他语言能力较脆弱。作者也承认缩放定律研究尚未考虑算力之外影响最优超参数的因素。
|
||||
- **影响**：论文把「数据质量 → 最优算力分配」的因果链条公开化，为开源模型的规模决策提供可复用方法论；非嵌入 FLOPs/token 与超参数幂律式成为业界常用的拟合口径。文中预告了后续代码智能与混合专家（Mixture-of-Experts, MoE）报告（目标以稀疏模型达到稠密性能），并称下一版将提升推理、中文知识、数学与代码能力；对齐团队的初步实验证明强化学习可增强复杂推理。论文还暴露了「多选数据能刷高榜单但不能真正提升智能」：加入 2000 万条中文多选数据后 MMLU 49.4→60.9、C-Eval 47.0→71.3、CMMLU 49.7→73.8，而生成式评测 TriviaQA 与 ChineseQA 几乎不变，故预训练与微调阶段都剔除多选数据。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Scaling Laws | 缩放定律 |
|
||||
| Longtermism | 长期主义 |
|
||||
| Non-embedding FLOPs/token ($M$) | 非嵌入每 token 计算量 |
|
||||
| IsoFLOP Profile | 等算力曲线（轮廓） |
|
||||
| Compute Budget ($C$) | 算力预算 |
|
||||
| Supervised Fine-Tuning (SFT) | 有监督微调 |
|
||||
| Direct Preference Optimization (DPO) | 直接偏好优化 |
|
||||
| Grouped-Query Attention (GQA) | 分组查询注意力 |
|
||||
| Multi-Head Attention (MHA) | 多头注意力 |
|
||||
| Byte-level BPE (BBPE) | 字节级字节对编码 |
|
||||
| Multi-step Learning Rate Scheduler | 多步学习率调度器 |
|
||||
| Chain-of-Thoughts (CoT) | 思维链 |
|
||||
| Tool-Integrated Reasoning (TIR) | 工具集成推理 |
|
||||
| Held-Out Evaluation | 留出集（防污染）评估 |
|
||||
| Bits-per-Byte (BPB) | 每字节比特数 |
|
||||
| Repetition Ratio | 重复率 |
|
||||
| System Prompt | 系统提示 |
|
||||
| Contamination / Benchmark Overfitting | 数据污染 / 基准过拟合 |
|
||||
Binary file not shown.
@@ -0,0 +1,120 @@
|
||||
# DeepSeekMoE：迈向混合专家语言模型的极致专家专精
|
||||
|
||||
> **原文标题**：DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
|
||||
> **arXiv**：[2401.06066](https://arxiv.org/abs/2401.06066) ｜ **发布**：11 Jan 2024
|
||||
> **作者/机构**：Damai Dai、Chengqi Deng、Chenggang Zhao 等 + DeepSeek-AI（深度求索），联合北京大学、清华大学、南京大学
|
||||
> **原文 PDF**：[02-DeepSeekMoE-2401.06066.pdf](./02-DeepSeekMoE-2401.06066.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
在大语言模型时代，混合专家（Mixture-of-Experts, MoE）是在扩大模型参数规模时管理计算成本的一种颇具前景的架构。然而，像 GShard 这类从 $N$ 个专家中激活 top-$K$ 个专家的传统 MoE 架构，在确保专家专精（expert specialization，即每个专家获取互不重叠且聚焦的知识）方面面临挑战。为此，我们提出了面向极致专家专精的 DeepSeekMoE 架构。它包含两项主要策略：（1）将专家细粒度地切分为 $mN$ 个专家，并从中激活 $mK$ 个，从而实现更灵活的激活专家组合；（2）隔离出 $K_{s}$ 个专家作为共享专家，旨在捕捉通用知识并缓解路由专家中的冗余。从 2B 参数的适度规模出发，我们证明 DeepSeekMoE 2B 达到了与 GShard 2.9B 相当的性能，而后者拥有 1.5 倍的专家参数与计算量。此外，DeepSeekMoE 2B 还几乎逼近了与其总参数量相同的稠密对照模型的性能，而后者构成了 MoE 模型的性能上界。随后，我们将 DeepSeekMoE 扩展到 16B 参数，并表明它仅用约 40% 的计算量就达到了与 LLaMA2 7B 相当的性能。进一步，我们将 DeepSeekMoE 扩展到 145B 参数的初步尝试持续验证了该架构相较 GShard 架构的显著优势，并显示它仅用 28.5%（甚至可能 18.2%）的计算量就取得了与 DeepSeek 67B 相当的性能。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **架构创新**：提出 DeepSeekMoE —— 一个以「极致专家专精」为目标的 MoE 架构，通过细粒度专家切分（fine-grained expert segmentation）与共享专家隔离（shared expert isolation）两项策略，在不增加专家总参数量与计算量的前提下提升专家的专业化程度。
|
||||
2. **实证验证**：在 12 个 zero-shot / few-shot 基准上做验证实验，DeepSeekMoE 2B 大幅超越同规模 GShard 2B，并追平拥有 1.5 倍专家参数与计算量的 GShard 2.9B；同时几乎逼近同总参数量稠密模型的性能，即 MoE 模型的理论上界。
|
||||
3. **可扩展性**：将模型扩展到 16B 总参数并在 2T tokens 上训练，DeepSeekMoE 16B 仅用约 40% 计算量即达到 DeepSeek 7B 与 LLaMA2 7B 的相当水平；进一步将 145B 版本的初步尝试显示其持续优于 GShard 架构，并以 28.5%（甚至 18.2%）的计算量对标 DeepSeek 67B。
|
||||
4. **MoE 对齐**：对 DeepSeekMoE 16B 做监督微调（SFT）构建聊天模型，DeepSeekMoE Chat 16B 在聊天场景下与 DeepSeek Chat 7B、LLaMA2 SFT 7B 相当，说明 MoE 模型同样能从指令微调中获益，且保持了良好的通用性与适应性。
|
||||
5. **公开发布**：开源 DeepSeekMoE 16B 的模型 checkpoint；该模型无需量化即可部署在单张 40GB 显存的 GPU 上。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 通用 MoE 架构（预备知识）
|
||||
|
||||
论文先给出 Transformer 语言模型中通用的 MoE 范式作为基线。标准 Transformer 语言模型由 $L$ 层 Transformer 块堆叠而成，第 $l$ 层的自注意力与 FFN 计算为：
|
||||
|
||||
$$\mathbf{u}_{1:T}^{l} = \operatorname{Self-Att}\left(\mathbf{h}_{1:T}^{l-1}\right) + \mathbf{h}_{1:T}^{l-1}, \qquad \mathbf{h}_{t}^{l} = \operatorname{FFN}\left(\mathbf{u}_{t}^{l}\right) + \mathbf{u}_{t}^{l}$$
|
||||
|
||||
构造 MoE 语言模型的典型做法，是按一定间隔把 Transformer 中的 FFN 替换为 MoE 层：每个 MoE 层包含多个结构上与标准 FFN 完全相同的专家，每个 token 被分配给 1 个（Switch Transformer）或 2 个（GShard）专家。第 $l$ 个 FFN 被替换为 MoE 层后，输出隐藏状态为：
|
||||
|
||||
$$\mathbf{h}_{t}^{l} = \sum_{i=1}^{N}\left(g_{i,t}\operatorname{FFN}_{i}\left(\mathbf{u}_{t}^{l}\right)\right) + \mathbf{u}_{t}^{l}$$
|
||||
|
||||
$$g_{i,t} = \begin{cases} s_{i,t}, & s_{i,t}\in\operatorname{Topk}\left(\{s_{j,t}\mid 1\leqslant j\leqslant N\},K\right),\\ 0, & \text{otherwise},\end{cases} \qquad s_{i,t} = \operatorname{Softmax}_{i}\left({\mathbf{u}_{t}^{l}}^{T}\mathbf{e}_{i}^{l}\right)$$
|
||||
|
||||
其中 $N$ 为专家总数，$\mathbf{e}_{i}^{l}$ 是第 $l$ 层第 $i$ 个专家的质心（centroid），$s_{i,t}$ 为 token 与专家的亲和度，$g_{i,t}$ 为门控值。$g_{i,t}$ 的稀疏性（$N$ 个门控值中只有 $K$ 个非零）保证了 MoE 层的计算效率——每个 token 只在 $K$ 个专家中被计算。
|
||||
|
||||
**为什么需要新架构**：论文指出这类传统架构存在两个痛点，共同限制了专家专精。（1）**知识混杂（knowledge hybridity）**：常用 MoE 只用 8 或 16 个专家，单个专家被分配到的 token 覆盖面过广，导致它不得不在同一份参数里塞进彼此差异极大的知识，难以同时用好；（2）**知识冗余（knowledge redundancy）**：不同专家接收到的 token 都需要某些通用知识，于是多个专家会各自重复学习这些共享知识，造成专家参数浪费。二者叠加使现有 MoE 无法逼近其理论性能上界。
|
||||
|
||||
### 3.2 细粒度专家切分
|
||||
|
||||
针对知识混杂，论文的做法是：在保持专家参数量与计算成本不变的前提下，把每个专家 FFN 的中间隐藏维度压缩到原来的 $1/m$，从而把一个专家切成 $m$ 个更小的专家；由于每个专家变小了，相应地把激活专家数也提高到 $m$ 倍，以维持相同的计算量。公式上只需把 top-$K$ 的求和范围从 $N$ 扩到 $mN$、把激活数从 $K$ 扩到 $mK$：
|
||||
|
||||
$$\mathbf{h}_{t}^{l} = \sum_{i=1}^{mN}\left(g_{i,t}\operatorname{FFN}_{i}\left(\mathbf{u}_{t}^{l}\right)\right) + \mathbf{u}_{t}^{l}, \qquad g_{i,t} = \begin{cases} s_{i,t}, & s_{i,t}\in\operatorname{Topk}\left(\{s_{j,t}\mid 1\leqslant j\leqslant mN\},mK\right),\\ 0, & \text{otherwise},\end{cases}$$
|
||||
|
||||
其收益可以从组合数上直观理解：当 $N=16$ 时，典型 top-2 路由只有 $\binom{16}{2}=120$ 种激活组合；若把每个专家切成 4 个小专家，细粒度路由的可能组合数变成 $\binom{64}{8}=4{,}426{,}165{,}368$。组合灵活性的暴涨意味着模型能更精确、更有针对性地组装所需知识，而落在每个小专家上的知识类型更单一，专家因此能保持更高的专业化程度。
|
||||
|
||||
### 3.3 共享专家隔离
|
||||
|
||||
针对知识冗余，论文隔离出 $K_{s}$ 个专家作为**共享专家**：不管路由器怎么算，每个 token 都会被确定性地分配给这些共享专家，由它们专门捕捉并沉淀跨上下文通用的知识。为了保证计算量不变，路由专家中被激活的专家数相应减少 $K_{s}$ 个。完整的 DeepSeekMoE 层可写为：
|
||||
|
||||
$$\mathbf{h}_{t}^{l} = \sum_{i=1}^{K_{s}}\operatorname{FFN}_{i}\left(\mathbf{u}_{t}^{l}\right) + \sum_{i=K_{s}+1}^{mN}\left(g_{i,t}\operatorname{FFN}_{i}\left(\mathbf{u}_{t}^{l}\right)\right) + \mathbf{u}_{t}^{l}$$
|
||||
|
||||
$$g_{i,t} = \begin{cases} s_{i,t}, & s_{i,t}\in\operatorname{Topk}\left(\{s_{j,t}\mid K_{s}+1\leqslant j\leqslant mN\},mK-K_{s}\right),\\ 0, & \text{otherwise},\end{cases} \qquad s_{i,t} = \operatorname{Softmax}_{i}\left({\mathbf{u}_{t}^{l}}^{T}\mathbf{e}_{i}^{l}\right)$$
|
||||
|
||||
于是在 DeepSeekMoE 中：共享专家数为 $K_{s}$，路由专家总数为 $mN-K_{s}$，非零门控数为 $mK-K_{s}$。作者说明，共享专家隔离的原型可追溯到 Rajbhandari et al. (2022)，关键区别在于后者是从工程视角出发，而本文是从算法视角出发，把它作为提升专家专精的手段。
|
||||
|
||||
### 3.4 负载均衡设计
|
||||
|
||||
自动学习的路由策略会出现负载不均衡，带来两个缺陷：一是**路由崩塌（routing collapse）**，模型总只选少数几个专家，其余专家得不到充分训练；二是在专家分布到多设备时，负载不均会加重计算瓶颈。
|
||||
|
||||
**专家级均衡损失**用于缓解路由崩塌，定义如下（$N'=mN-K_{s}$，$K'=mK-K_{s}$，$\mathbb{1}(\cdot)$ 为指示函数，$\alpha_{1}$ 为专家级均衡因子）：
|
||||
|
||||
$$\mathcal{L}_{\mathrm{ExpBal}} = \alpha_{1}\sum_{i=1}^{N'} f_{i}P_{i}, \quad f_{i} = \frac{N'}{K'T}\sum_{t=1}^{T}\mathbb{1}(\text{Token } t \text{ selects Expert } i), \quad P_{i} = \frac{1}{T}\sum_{t=1}^{T}s_{i,t}$$
|
||||
|
||||
**设备级均衡损失**则针对跨设备计算均衡。作者强调：过度强制专家级均衡会损害模型性能，因此不必在专家层面做严格约束，真正要保证的是设备之间计算量均衡。把全部路由专家划分为 $D$ 组 $\{\mathcal{E}_{1},\dots,\mathcal{E}_{D}\}$ 并每组部署在一个设备上后：
|
||||
|
||||
$$\mathcal{L}_{\mathrm{DevBal}} = \alpha_{2}\sum_{i=1}^{D} f_{i}'P_{i}', \quad f_{i}' = \frac{1}{|\mathcal{E}_{i}|}\sum_{j\in\mathcal{E}_{i}} f_{j}, \quad P_{i}' = \sum_{j\in\mathcal{E}_{i}} P_{j}$$
|
||||
|
||||
实践中的取舍是：专家级均衡因子设得较小（防止路由崩塌即可），设备级均衡因子设得较大（促进设备间计算均衡）。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| Pile（Loss，验证实验） | DeepSeekMoE 2B **1.808** | GShard 2B 1.867；GShard ×1.5 1.808；Dense ×16 1.806 | 100B tokens；DeepSeekMoE 逼近稠密上界 |
|
||||
| HellaSwag（0-shot Acc.） | 54.8 | GShard 2B 50.5；GShard ×1.5 54.4 | 同总参数、同激活参数下领先 |
|
||||
| HumanEval（Pass@1） | 4.9 | GShard 2B 3.7；GShard ×1.5 3.0；Dense ×16 4.3 | 验证实验中代码生成最强 |
|
||||
| TriviaQA（5-shot EM） | 16.6 | GShard 2B 10.2；GShard ×1.5 15.7 | 知识密集型任务优势明显 |
|
||||
| Pile（BPB，16B） | DeepSeekMoE 16B **0.74** | DeepSeek 7B 0.75；LLaMA2 7B 0.76 | 2T tokens；算力为 DeepSeek 7B 的 40.5%、LLaMA2 7B 的 39.6% |
|
||||
| HellaSwag（0-shot） | 77.1 | DeepSeek 7B 75.4；LLaMA2 7B 75.6 | 超过两个 7B 稠密模型 |
|
||||
| GSM8K（8-shot EM） | 18.8 | DeepSeek 7B 17.4；LLaMA2 7B 15.5 | 数学推理领先 |
|
||||
| MATH（4-shot EM） | 4.3 | DeepSeek 7B 3.3；LLaMA2 7B 2.6 | 数学推理领先 |
|
||||
| HumanEval（Pass@1） | 26.8 | DeepSeek 7B 26.2；LLaMA2 7B 14.6 | 代码生成大幅超 LLaMA2 7B |
|
||||
| MBPP（3-shot Pass@1） | 39.2 | DeepSeek 7B 39.0；LLaMA2 7B 21.8 | 同上 |
|
||||
| MMLU（5-shot Acc.） | 45.0 | DeepSeek 7B 48.2；LLaMA2 7B 45.8 | **落后**：注意力参数仅约 0.5B（DeepSeek 7B 为 2.5B） |
|
||||
| CMMLU（5-shot Acc.） | 42.5 | LLaMA2 7B 32.6；DeepSeek 7B 47.2 | 中文能力远超 LLaMA2，但低于 DeepSeek 7B |
|
||||
| CHID（0-shot Acc.） | 89.4 | LLaMA2 7B 37.9；DeepSeek 7B 89.3 | 中文成语理解近乎碾压 LLaMA2 |
|
||||
| MBPP（Chat，3-shot Pass@1） | DeepSeekMoE Chat 16B 46.2 | LLaMA2 SFT 7B 27.8；DeepSeek Chat 7B 39.0 | 同一份 SFT 数据，聊天模型仍保持代码优势 |
|
||||
| DROP（Chat，1-shot EM） | 33.8 | LLaMA2 SFT 7B 40.0；DeepSeek Chat 7B 41.7 | **落后**：长文阅读理解是短板 |
|
||||
| Pile（Loss，145B） | DeepSeekMoE 145B **1.876** | DeepSeek 67B 1.905；GShard 137B 1.961 | 245B tokens 初步训练；算力为 DeepSeek 67B 的 28.5% |
|
||||
| GSM8K（8-shot EM，Half Activated） | DeepSeekMoE 142B 13.8 | DeepSeek 67B 11.8；GShard 137B 6.4 | 仅激活一半专家参数、18.2% 算力仍超 DeepSeek 67B |
|
||||
|
||||
总体看，DeepSeekMoE 在**语言建模与知识密集型任务**（Pile、HellaSwag、TriviaQA、NaturalQuestions）上优势最突出——作者归因于 MoE 模型中 FFN 参数远多于注意力参数，而 Transformer 的 FFN 承担知识记忆功能。在**代码生成与数学推理**上，16B 模型全面超越 LLaMA2 7B（HumanEval 26.8 vs 14.6，MBPP 39.2 vs 21.8），部分归功于预训练语料中数学与代码文本更丰富。**多选题任务**（MMLU、CEval、CMMLU）是持续短板：16B 与 145B 版本均落后 DeepSeek 同代稠密模型（16B 对 DeepSeek 7B：MMLU 45.0 vs 48.2、CEval 40.6 vs 45.0；145B 对 DeepSeek 67B：MMLU 39.4 vs 45.1），论文明确将其归因于注意力参数容量不足。此外，SFT 之后 DeepSeekMoE 与 DeepSeek 7B 在多选题上的差距有所收窄。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeekMoE 通过细粒度专家切分与共享专家隔离，显著提升了专家专精程度。2B 规模的验证实验证明该架构能逼近 MoE 模型的理论性能上界；消融实验显示两种策略各自都带来提升，且专家切分越细性能越好；利用率分析显示禁用 top 路由专家时 DeepSeekMoE 比 GShard ×1.5 更敏感（说明专家冗余更低、更不可替代），直接禁用共享专家会让 Pile loss 从 1.808 恶化到 2.414（说明共享专家捕捉的是路由专家无法覆盖的基础知识）。16B 版本在 2T tokens 上训练后以约 40% 计算量对标 7B 稠密模型，经 SFT 对齐后仍保持该优势；145B 的初步结果持续优于 GShard，并以 28.5%（半激活版本 18.2%）计算量对标 DeepSeek 67B。
|
||||
- **局限性**：论文自述的局限包括：（1）在多选题任务（MMLU、CEval、CMMLU 类）上表现不足，根源是 DeepSeekMoE 16B 的注意力参数仅约 0.5B（DeepSeek 7B 为 2.5B），作者此前在 DeepSeek 7B 上的研究发现注意力容量与多选题表现正相关；（2）DeepSeekMoE 145B 只是「初步探索」，仅训练 245B tokens，尚未完成最终版本与完整训练，因此其结论属阶段性验证；（3）在 16B 规模未采用更细的切分粒度（专家为 0.25 倍标准 FFN），原因是专家过小会降低计算效率，论文称在 16B 以上的更大规模仍可采用更细粒度。此外论文正文未对 145B 的最终目标训练量给出明确数字。
|
||||
- **影响**：该工作给出了 MoE 走向「极致专家专精」的两条正交设计原则，并以极小代价（同参数、同计算量）获得显著收益，其中「细粒度 + 共享专家」的组合后来成为 DeepSeek-V2/V3 系列 MoE 的基础架构；它同时验证了 MoE 模型可从 SFT 对齐中获益（与早期「MoE 难从微调获益」的观察相反），并开源了可单卡 40GB 部署、推理速度约为 7B 稠密模型 2.5 倍的 16B checkpoint，对工业界的低成本大模型部署有直接参考价值。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||||
| Expert Specialization | 专家专精 / 专家专业化 |
|
||||
| Fine-Grained Expert Segmentation | 细粒度专家切分 |
|
||||
| Shared Expert Isolation | 共享专家隔离 |
|
||||
| Shared Expert | 共享专家 |
|
||||
| Routed Expert | 路由专家 |
|
||||
| Knowledge Hybridity | 知识混杂 |
|
||||
| Knowledge Redundancy | 知识冗余 |
|
||||
| Routing Collapse | 路由崩塌 |
|
||||
| Expert-Level Balance Loss | 专家级均衡损失 |
|
||||
| Device-Level Balance Loss | 设备级均衡损失 |
|
||||
| Expert Parallelism | 专家并行 |
|
||||
| Activated Parameters | 激活参数 |
|
||||
| Bits per Byte (BPB) | 每字节比特数 |
|
||||
| Top-K Routing | Top-K 路由 |
|
||||
| Feed-Forward Network (FFN) | 前馈网络 |
|
||||
| Dense Counterpart | 稠密对照模型 |
|
||||
Binary file not shown.
@@ -0,0 +1,119 @@
|
||||
# DeepSeek-V2：一个强劲、经济且高效的混合专家语言模型
|
||||
|
||||
> **原文标题**：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
|
||||
> **arXiv**：[2405.04434](https://arxiv.org/abs/2405.04434) ｜ **发布**：2024-05-07（最后修订 2024-06-19）
|
||||
> **作者/机构**：DeepSeek-AI，Aixin Liu、Bei Feng、Bin Wang 等（DeepSeek（深度求索））
|
||||
> **原文 PDF**：[03-DeepSeek-V2-2405.04434.pdf](./03-DeepSeek-V2-2405.04434.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
我们提出 DeepSeek-V2，一个强劲的混合专家（Mixture-of-Experts, MoE）语言模型，其特点是训练经济、推理高效。它包含 236B 总参数，其中每个 token 激活 21B 参数，并支持 128K token 的上下文长度。DeepSeek-V2 采用了包括多头潜在注意力（Multi-head Latent Attention, MLA）与 DeepSeekMoE 在内的创新架构。MLA 通过将键值（Key-Value, KV）缓存显著压缩为一个潜在向量来保证高效推理，而 DeepSeekMoE 则通过稀疏计算使得以经济成本训练强劲模型成为可能。与 DeepSeek 67B 相比，DeepSeek-V2 取得了显著更强的性能，同时节省了 42.5% 的训练成本，将 KV 缓存减少了 93.3%，并把最大生成吞吐提升到 5.76 倍。我们在一个由 8.1T token 组成的高质量、多来源语料上预训练 DeepSeek-V2，并进一步执行监督微调（Supervised Fine-Tuning, SFT）与强化学习（Reinforcement Learning, RL）以充分释放其潜力。评估结果显示，即使仅有 21B 激活参数，DeepSeek-V2 及其对话版本仍然在开源模型中达到顶尖性能。模型 checkpoint 可在 https://github.com/deepseek-ai/DeepSeek-V2 获取。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **多头潜在注意力（MLA）**：针对多头注意力（MHA）推理时 KV 缓存过大、而 MQA/GQA 又牺牲性能的两难，提出用低秩联合压缩把键和值压成一个潜在向量，KV 缓存降至 $(d_c+d_h^R)l \approx \frac{9}{2}d_h l$，仅相当于 2.25 组的 GQA，但性能反而强于 MHA。
|
||||
2. **解耦旋转位置编码（Decoupled RoPE）**：解决 RoPE 与低秩 KV 压缩不兼容（上投影矩阵无法被吸收进 $W^Q$，导致推理时须重算全部前缀 key）的矛盾，用额外的多头查询与共享 key 单独承载位置信息。
|
||||
3. **DeepSeekMoE 稀疏架构**：沿用细粒度专家切分与共享专家隔离，实现 236B 总参数、仅 21B 激活；并配套设备受限路由、三种负载均衡损失与 token 丢弃，控制专家并行的通信与负载。
|
||||
4. **训练经济性**：在 8.1T token 上预训练，每训练 1T token 仅需 172.8K GPU 小时，相比稠密的 DeepSeek 67B（300.6K GPU 小时）节省 42.5% 训练成本。
|
||||
5. **推理高效性**：KV 缓存减少 93.3%，单节点 8×H800 上生成吞吐超过 50K tokens/s，为 DeepSeek 67B 最大生成吞吐的 5.76 倍，prompt 输入吞吐超过 100K tokens/s。
|
||||
6. **性能与开源**：21B 激活参数即成为最强开源 MoE 语言模型；同时开源 15.7B 总参数、2.4B 激活的 DeepSeek-V2-Lite。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 背景：为什么 KV 缓存是推理瓶颈
|
||||
|
||||
标准 MHA 先用 $W^Q,W^K,W^V\in\mathbb{R}^{d_h n_h\times d}$ 生成 $\mathbf{q}_t,\mathbf{k}_t,\mathbf{v}_t$，再切成 $n_h$ 个头做注意力。推理时所有 key 和 value 都必须缓存，因此 MHA 每个 token 需要缓存 $2n_h d_h l$ 个元素（$l$ 为层数）。这一沉重缓存在部署中限制了最大 batch size 与序列长度——这正是 MQA（$2d_h l$）和 GQA（$2n_g d_h l$）想要缓解的问题，但它们以性能下降为代价（附录 D.1：7B 稠密模型 MMLU 上 MHA 45.2 明显优于 GQA 41.2 与 MQA 37.9）。
|
||||
|
||||
### 3.2 低秩键值联合压缩
|
||||
|
||||
MLA 的核心是把 key 与 value 联合压缩到低维潜在向量：先下投影 $\mathbf{c}_t^{KV}=W^{DKV}\mathbf{h}_t$（$\mathbf{c}_t^{KV}\in\mathbb{R}^{d_c}$，$d_c\ll d_h n_h$），再由上投影还原 $\mathbf{k}_t^{C}=W^{UK}\mathbf{c}_t^{KV}$、$\mathbf{v}_t^{C}=W^{UV}\mathbf{c}_t^{KV}$。推理时只需缓存 $\mathbf{c}_t^{KV}$，KV 缓存降为 $d_c l$ 个元素；而且 $W^{UK}$ 可以被吸收进 $W^Q$、$W^{UV}$ 可以被吸收进 $W^O$，因此甚至不必显式计算 key 与 value。此外，查询也被低秩压缩（$\mathbf{c}_t^{Q}=W^{DQ}\mathbf{h}_t$，$\mathbf{q}_t^{C}=W^{UQ}\mathbf{c}_t^{Q}$，$d_c'=1536$），虽然这不能减少 KV 缓存，但能降低训练时的激活显存。
|
||||
|
||||
### 3.3 解耦旋转位置编码
|
||||
|
||||
RoPE 对 key 和 query 都是位置敏感的。若直接对 $\mathbf{k}_t^{C}$ 施加 RoPE，$W^{UK}$ 就会与位置相关的 RoPE 矩阵耦合，而矩阵乘法不满足交换律，$W^{UK}$ 便无法再被吸收进 $W^Q$，推理时必须为所有前缀 token 重算 key，严重拖慢推理——这就是"RoPE 与低秩 KV 压缩不兼容"的实质。解决方案是让额外的多头查询 $\mathbf{q}_{t,i}^{R}\in\mathbb{R}^{d_h^{R}}$ 与共享 key $\mathbf{k}_t^{R}=\operatorname{RoPE}(W^{KR}\mathbf{h}_t)$ 单独承载 RoPE，再与压缩分支拼接后计算注意力。代价是解耦 key 也须缓存，故总 KV 缓存为 $(d_c+d_h^{R})l$。论文取 $d_c=4d_h$、$d_h^{R}=\frac{d_h}{2}$，于是得到 $\frac{9}{2}d_h l$，恰等于只有 2.25 组的 GQA，却强于 MHA。
|
||||
|
||||
### 3.4 设备受限路由、负载均衡与 Token 丢弃
|
||||
|
||||
对 FFN 部分，DeepSeekMoE 把专家切得更细以获得更高专家专业化，并隔离出一批共享专家以缓解路由专家间的知识冗余：$\mathbf{h}_t'=\mathbf{u}_t+\sum_{i=1}^{N_s}\operatorname{FFN}_i^{(s)}(\mathbf{u}_t)+\sum_{i=1}^{N_r}g_{i,t}\operatorname{FFN}_i^{(r)}(\mathbf{u}_t)$，其中门控值 $g_{i,t}$ 只在亲和度 $s_{i,t}=\operatorname{Softmax}_i(\mathbf{u}_t^{T}\mathbf{e}_i)$ 的 top-$K_r$ 上非零。由于专家切分很细、激活专家数多，专家并行下的通信代价很高，因此引入**设备受限路由**：先选出亲和度分数最高的 $M$ 台设备，再只在这 $M$ 台设备上的专家里做 top-K 选择；实验发现 $M\geqslant 3$ 时性能已与无限制 top-K 路由大致对齐。为抑制路由坍缩并平衡计算与通信，训练中叠加三种辅助损失：专家级 $\mathcal{L}_{\mathrm{ExpBal}}=\alpha_1\sum_{i=1}^{N_r}f_iP_i$、设备级 $\mathcal{L}_{\mathrm{DevBal}}=\alpha_2\sum_{i=1}^{D}f_i'P_i'$、通信级 $\mathcal{L}_{\mathrm{CommBal}}=\alpha_3\sum_{i=1}^{D}f_i''P_i''$（$f$ 为被选中/被发送的比例，$P$ 为平均亲和度）。设备受限路由保证每台设备最多发送 $MT$ 个隐状态，通信均衡损失则鼓励每台设备接收约 $MT$ 个，从而均衡设备间信息交换。最后，由于均衡损失无法保证严格均衡，训练时采用**设备级 token 丢弃**：以容量因子 1.0 为预算，丢弃各设备上亲和度最低的 token，但保证约 10% 训练序列的 token 永不被丢弃，从而在训练与推理间保持一致。
|
||||
|
||||
### 3.5 预训练设置与长上下文扩展
|
||||
|
||||
模型为 60 层、隐维度 5120，参数按标准差 0.006 随机初始化；MLA 中 $n_h=128$、$d_h=128$、$d_c=512$、$d_c'=1536$、$d_h^{R}=64$。除第一层外所有 FFN 替换为 MoE 层，每层 2 个共享专家 + 160 个路由专家，专家中间维度 1536，每 token 激活 6 个路由专家。由于低秩压缩与细粒度专家切分会改变层的输出尺度，论文在压缩潜在向量后加 RMS Norm，并在"宽度瓶颈"处（压缩潜在向量与专家中间隐状态）乘额外缩放因子以保证训练稳定。训练用 AdamW（$\beta_1=0.9$、$\beta_2=0.95$、weight decay 0.1），学习率按 warmup-and-step-decay 调度：前 2K 步线性升到 $2.4\times10^{-4}$，训练约 60% 和 90% token 时各乘 0.316；梯度裁剪范数为 1.0；batch size 在首个 225B token 内从 2304 渐增至 9216 后保持不变；最大序列长度 4K，共训练 8.1T token。路由方面 $D=8$（每层专家均摊到 8 台设备）、$M=3$，三个均衡因子取 $\alpha_1=0.003$、$\alpha_2=0.05$、$\alpha_3=0.02$。基础设施基于内部 HAI-LLM 框架，采用 16 路 zero-bubble 流水线并行、8 路专家并行与 ZeRO-1 数据并行；因激活参数少且部分算子重算以省激活显存，无需张量并行，通信开销更低；共享专家计算与 all-to-all 通信重叠，并为通信、路由与跨专家融合线性计算定制了 CUDA kernel，MLA 基于改进版 FlashAttention-2 优化；实验在 NVIDIA H800 集群上完成。预训练后使用 YaRN 把上下文从 4K 扩到 128K，且只作用于承载 RoPE 的解耦共享 key $\mathbf{k}_t^{R}$；参数取 $s=40$、$\alpha=1$、$\beta=32$、目标最大长度 160K，并把长度缩放因子调整为 $\sqrt{t}=0.0707\ln s+1$ 以调制注意力熵、最小化困惑度；额外只以 32K 长度、576 条序列的 batch 训练 1000 步，却能在 128K 上下文上保持稳健（NIAH 测试在直至 128K 的窗口长度上表现良好）。
|
||||
|
||||
### 3.6 数据与对齐
|
||||
|
||||
数据构建沿用 DeepSeek 67B 的处理阶段，但扩大数据量并提升质量：优化清洗流程找回被误删数据、纳入更多中文数据、改进质量过滤算法，并过滤有争议内容以缓解区域文化带来的数据偏差；分词器与 DeepSeek 67B 相同（Byte-level BPE，词表 100K）。最终语料 8.1T token，其中中文 token 比英文多约 12%。对齐阶段先用 1.5M 条指令数据（1.2M 有用性 + 0.3M 安全性）做 2 个 epoch 的 SFT，学习率 $5\times10^{-6}$；随后用 GRPO 做强化学习，它省去通常与策略模型同规模的 critic 模型，改由组内得分估计基线：对每个问题采样一组输出 $\{o_1,\dots,o_G\}$，目标为裁剪后的重要性比率乘优势 $A_i=\frac{r_i-\mathrm{mean}(\{r_1,\dots,r_G\})}{\mathrm{std}(\{r_1,\dots,r_G\})}$，并加 KL 惩罚项 $\beta\mathbb{D}_{KL}(\pi_\theta||\pi_{ref})$。RL 分两阶段：先做推理对齐（用 $\mathrm{RM}_{reasoning}$ 反馈优化代码与数学能力），再做人类偏好对齐（$r_i=c_1\mathrm{RM}_{helpful}+c_2\mathrm{RM}_{safety}+c_3\mathrm{RM}_{rule}$）。工程上提出训练/推理使用不同并行策略的混合引擎、以 vLLM 大 batch 作推理后端，并设计 CPU offload 与回载调度，在速度与显存间取得近最优平衡。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
**基座模型开源对比（Table 2，同一内部评测框架）**
|
||||
|
||||
| 基准 / 任务 | 本模型（DeepSeek-V2，21B 激活） | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| MMLU (Acc., 5-shot) | 78.5 | LLaMA3 70B 78.9；Mixtral 8x22B 77.6；Qwen1.5 72B 77.2；DeepSeek 67B 71.3 | 差距 0.3 内视为同级 |
|
||||
| Pile-test (BPB) | 0.606 | LLaMA3 70B 0.602；Mixtral 0.623；Qwen1.5 0.637；DeepSeek 67B 0.642 | 仅略逊于 LLaMA3 |
|
||||
| BBH (EM, 3-shot) | 78.9 | LLaMA3 81.0；Mixtral 78.9；DeepSeek 67B 68.7 | 与 Mixtral 持平 |
|
||||
| DROP (F1, 3-shot) | 80.1 | LLaMA3 82.5；Mixtral 80.4 | |
|
||||
| TriviaQA (EM) / NaturalQuestions (EM) | 79.9 / 38.7 | Mixtral 82.1 / 39.6；LLaMA3 81.6 / 40.2 | 与英文常识知识强相关的短板 |
|
||||
| AGIEval (Acc., 0-shot) | 51.2 | Qwen1.5 64.4；LLaMA3 49.8；Mixtral 43.4 | 明显落后 Qwen1.5 |
|
||||
| HumanEval (Pass@1) / MBPP | 48.8 / 66.6 | Mixtral 53.1 / 64.2；LLaMA3 48.2 / 68.6 | 代码与 Mixtral 相当 |
|
||||
| CRUXEval-I / CRUXEval-O (Acc.) | 52.8 / 49.8 | Mixtral 52.4 / 52.8；LLaMA3 49.4 / 54.3 | |
|
||||
| GSM8K (EM) / MATH (EM) | 79.2 / 43.6 | LLaMA3 83.0 / 42.2；Mixtral 80.3 / 42.5 | MATH 上为对比中最高 |
|
||||
| CMath (EM, 3-shot) | 78.7 | Qwen1.5 77.8；LLaMA3 73.9；Mixtral 72.3 | 中文数学领先 |
|
||||
| C-Eval (Acc.) / CMMLU (Acc.) | 81.7 / 84.0 | Qwen1.5 83.7 / 84.3；LLaMA3 67.5 / 69.3 | Qwen1.5 在中文多学科选择题上更好 |
|
||||
| CMRC (EM) / C3 (Acc.) / CHID (Acc.) / CCPM (Acc.) | 77.5 / 77.4 / 92.7 / 93.1 | Qwen1.5 66.6 / 78.2 / — / 88.1；DeepSeek 67B 73.4 / 75.3 / 92.1 / 88.5 | 中文全面领先 |
|
||||
|
||||
**对话模型与开放式生成（Table 3–5）**
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| MT-Bench | Chat (RL) 8.97 | LLaMA3 70B Inst. 8.95；Qwen1.5 72B Chat 8.61；Mixtral 8x22B Inst. 8.66 | Chat (SFT) 为 8.62 |
|
||||
| AlpacaEval 2.0（长度控制胜率） | Chat (RL) 38.9 | Qwen1.5 36.6；LLaMA3 34.4；Mixtral 30.9 | Chat (SFT) 为 30.0 |
|
||||
| AlignBench（总分，GPT-4-0613 打分） | Chat (RL) 7.91 / Chat (SFT) 7.74 | ERNIEBot-4.0 7.89；GPT-4-0613 7.53；GPT-4-1106-Preview 8.01 | 中文超越全部开源模型与多数闭源模型 |
|
||||
| MMLU / IFEval（chat） | SFT 78.4 / 64.1；RL 77.8 / 63.8 | LLaMA3 70B Inst. 80.3 / 79.7 | RL 反而略降，且指令跟随明显落后 |
|
||||
| GSM8K / MATH / HumanEval | RL 92.2 / 53.9 / 81.1 | LLaMA3 93.2 / 48.5 / 76.2；Mixtral 87.9 / 49.8 / 75.0 | RL 相比 SFT（90.8 / 52.7 / 76.8）进一步提升 |
|
||||
| LiveCodeBench (Pass@1) | RL 32.5 | LLaMA3 30.5；Mixtral 25.0 | SFT 为 28.7 |
|
||||
| SC-Math6（中文数学，综合分） | RL 83.35 | GPT-4-1106-Preview 90.71；ERNIEBot 4.0 85.60；Qwen-110B-Chat 83.25 | 优于所有中文 LLM，仍低于 GPT-4 |
|
||||
|
||||
**效率与消融**
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| 训练成本（每 1T token） | 172.8K GPU 小时 | DeepSeek 67B 300.6K GPU 小时 | 节省 42.5% |
|
||||
| KV 缓存 / token（大 MoE，Table 9） | MLA 34.6K 元素 | MHA 860.2K 元素 | 约为 4%（小 MoE 为 14%） |
|
||||
| 生成吞吐（单节点 8×H800） | >50K tokens/s（prompt 输入 >100K tokens/s） | DeepSeek 67B | 最大生成吞吐的 5.76 倍 |
|
||||
| 大 MoE 消融 MMLU / BBH（Table 9） | MLA 59.0 / 50.7 | MHA 57.5 / 46.6 | MLA 性能更强且缓存小两个数量级 |
|
||||
| DeepSeek-V2-Lite 基座 MMLU / GSM8K | 58.3 / 41.1 | DeepSeekMoE 16B 45.0 / 18.8；DeepSeek 7B 48.2 / 17.4 | 15.7B 总参、2.4B 激活、5.7T token |
|
||||
|
||||
总体来看，DeepSeek-V2 以 21B 激活参数在绝大多数基准上显著超过 DeepSeek 67B，并与 70B 级稠密模型同级：数学（MATH 43.6 为对比最高）、中文（C-Eval/CMMLU/CCPM/CMRC 等）与代码多处领先；短板集中在与英文常识知识强相关的 TriviaQA、NaturalQuestions、HellaSwag，中文多学科选择题略逊于 Qwen1.5 72B，指令跟随（IFEval 64.1 对 79.7）明显落后 LLaMA3 70B。对话版本中 RL 阶段在数学、代码与开放式生成上进一步提升，AlpacaEval 2.0 与 MT-Bench 均超过同期开源模型，AlignBench 中文总分超过 ERNIEBot-4.0 与 GPT-4-0613，但推理能力仍落后巨型模型。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeek-V2 是一个支持 128K 上下文的大型 MoE 语言模型，凭借 MLA 与 DeepSeekMoE 同时实现了强劲性能、经济的训练成本与高效的推理。相比 DeepSeek 67B，它性能显著更强，同时节省 42.5% 训练成本、减少 93.3% KV 缓存、把最大生成吞吐提升到 5.76 倍；仅用 21B 激活参数即成为最强开源 MoE 模型。
|
||||
- **局限性**：作者自述与其他 LLM 共有的局限包括：预训练后缺乏持续的知识更新、可能生成未经核实的建议等非事实信息、以及存在幻觉；由于训练数据以中英文为主，其他语言能力可能有限，中英文之外应谨慎使用。附录 E 另指出，为对预训练语料去偏（过滤争议性内容），模型在与特定区域文化紧密相关的测试集上表现略差：如 MMLU 的 Humanity-Moral 子集落后于 Mixtral 8x22B，而人工标注者在该子集 420 个道德情景上与标准答案的一致性很低（与标注者 3 之间仅 42.1%）。讨论部分还指出 SFT 数据少于 10K 条时 IFEval 显著下降、RL 存在"对齐税"（损害 BBH 等基准），且在线 RL 明显优于离线 RL。
|
||||
- **影响**：MLA 与 DeepSeekMoE 证明稀疏架构能在压缩 KV 缓存的同时不牺牲（甚至提升）性能，确立了"总参数大、激活参数小、缓存极小"的工程范式；模型权重与 DeepSeek-V2-Lite 均已开源。作者表示下一步目标是在后续版本中达到与 GPT-4 相当的性能，并继续在保持经济成本的前提下扩大 MoE 规模、把模型从纯文本扩展到多模态。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||||
| Multi-head Latent Attention (MLA) | 多头潜在注意力 |
|
||||
| Key-Value (KV) Cache | 键值缓存 |
|
||||
| Low-Rank Key-Value Joint Compression | 低秩键值联合压缩 |
|
||||
| Decoupled Rotary Position Embedding | 解耦旋转位置编码 |
|
||||
| Rotary Position Embedding (RoPE) | 旋转位置编码 |
|
||||
| Multi-Head Attention (MHA) | 多头注意力 |
|
||||
| Grouped-Query Attention (GQA) | 分组查询注意力 |
|
||||
| Multi-Query Attention (MQA) | 多查询注意力 |
|
||||
| DeepSeekMoE | DeepSeek 混合专家架构 |
|
||||
| Fine-Grained Expert Segmentation | 细粒度专家切分 |
|
||||
| Shared Expert Isolation | 共享专家隔离 |
|
||||
| Device-Limited Routing | 设备受限路由 |
|
||||
| Expert Parallelism | 专家并行 |
|
||||
| Auxiliary Loss for Load Balance | 负载均衡辅助损失 |
|
||||
| Token-Dropping Strategy | Token 丢弃策略 |
|
||||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||||
| Supervised Fine-Tuning (SFT) | 监督微调 |
|
||||
| Alignment Tax | 对齐税 |
|
||||
| Bits-Per-Byte (BPB) | 每字节比特数 |
|
||||
Binary file not shown.
@@ -0,0 +1,182 @@
|
||||
# DeepSeek-V3 技术报告（中文精读）
|
||||
|
||||
> **原文标题**：DeepSeek-V3 Technical Report
|
||||
> **arXiv**：[2412.19437](https://arxiv.org/abs/2412.19437) ｜ **发布**：27 Dec 2024（最后修订 18 Feb 2025）
|
||||
> **作者/机构**：DeepSeek-AI（第一作者 Aixin Liu 等，全体作者署名 DeepSeek-AI）；DeepSeek（深度求索）
|
||||
> **原文 PDF**：[04-DeepSeek-V3-2412.19437.pdf](./04-DeepSeek-V3-2412.19437.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
我们提出 DeepSeek-V3，一个强大的混合专家（Mixture-of-Experts, MoE）语言模型，总参数量为 671B，每个 token 激活 37B 参数。为实现高效推理与高性价比训练，DeepSeek-V3 采用多头潜在注意力（Multi-head Latent Attention, MLA）与 DeepSeekMoE 架构，这两者在 DeepSeek-V2 中已得到充分验证。此外，DeepSeek-V3 开创了一种无辅助损失的负载均衡策略，并设置了多 token 预测（multi-token prediction）训练目标以获得更强的性能。我们在 14.8 万亿个多样且高质量的 token 上预训练 DeepSeek-V3，随后进行监督微调与强化学习阶段，以充分释放其能力。全面评测表明，DeepSeek-V3 优于其他开源模型，并达到与领先闭源模型相当的性能。尽管性能出色，DeepSeek-V3 的完整训练仅需 2.788M H800 GPU 小时。此外，其训练过程极其稳定。在整个训练过程中，我们没有遇到任何不可恢复的损失尖峰（loss spike），也没有执行任何回滚（rollback）。模型检查点可在 https://github.com/deepseek-ai/DeepSeek-V3 获取。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **无辅助损失的负载均衡**：靠辅助损失强制均衡会损害性能，V3 改用仅参与路由的专家偏置 $b_i$ 并随负载动态调整。
|
||||
2. **多 token 预测（MTP）**：顺序预测额外 token 且保持完整因果链以密化训练信号，推理时可丢弃或用于投机解码。
|
||||
3. **FP8 混合精度训练**：首次在超大规模模型上验证 FP8 训练，相对损失误差低于 0.25%。
|
||||
4. **DualPipe 与通信优化**：攻克跨节点专家并行的计算通信比瓶颈，无需张量并行即可训练 671B 模型。
|
||||
5. **从 DeepSeek-R1 蒸馏推理能力**：把长思维链模型的验证与反思模式注入标准 LLM。
|
||||
6. **极低训练成本**：2.664M H800 GPU 小时完成 14.8T token 预训练，全流程 2.788M GPU 小时，约 5.576M 美元。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 基础架构：MLA 与 DeepSeekMoE
|
||||
|
||||
DeepSeek-V3 仍在 Transformer 框架内，沿用 DeepSeek-V2 的 MLA + DeepSeekMoE 组合：MLA 负责高效推理，DeepSeekMoE 负责经济训练。
|
||||
|
||||
**MLA 的核心是对键值（KV）做低秩联合压缩**，以削减推理时的 KV 缓存：
|
||||
|
||||
$$\mathbf{c}_t^{KV} = W^{DKV}\mathbf{h}_t,\qquad [\mathbf{k}_{t,1}^C;\dots;\mathbf{k}_{t,n_h}^C]=\mathbf{k}_t^C = W^{UK}\mathbf{c}_t^{KV}$$
|
||||
$$\mathbf{k}_t^R = \operatorname{RoPE}(W^{KR}\mathbf{h}_t),\qquad \mathbf{k}_{t,i}=[\mathbf{k}_{t,i}^C;\mathbf{k}_t^R],\qquad \mathbf{v}_t^C = W^{UV}\mathbf{c}_t^{KV}$$
|
||||
$$\mathbf{o}_{t,i}=\sum_{j=1}^{t}\operatorname{Softmax}_j\!\left(\frac{\mathbf{q}_{t,i}^{T}\mathbf{k}_{j,i}}{\sqrt{d_h+d_h^{R}}}\right)\mathbf{v}_{j,i}^{C},\qquad \mathbf{u}_t=W^{O}[\mathbf{o}_{t,1};\dots;\mathbf{o}_{t,n_h}]$$
|
||||
|
||||
其中 $\mathbf{c}_t^{KV}\in\mathbb{R}^{d_c}$（$d_c\ll d_h n_h$）为 KV 压缩潜在向量，$W^{KR}$ 产生携带 RoPE 的解耦键。**推理时只需缓存 $\mathbf{c}_t^{KV}$ 与 $\mathbf{k}_t^R$**，KV 缓存大幅缩小而性能与标准多头注意力相当；查询侧同样低秩压缩。
|
||||
|
||||
**DeepSeekMoE 相比 GShard 用更细粒度专家并隔离出共享专家**：
|
||||
|
||||
$$\mathbf{h}_t'=\mathbf{u}_t+\sum_{i=1}^{N_s}\operatorname{FFN}_i^{(s)}(\mathbf{u}_t)+\sum_{i=1}^{N_r}g_{i,t}\operatorname{FFN}_i^{(r)}(\mathbf{u}_t),\qquad s_{i,t}=\operatorname{Sigmoid}(\mathbf{u}_t^{T}\mathbf{e}_i)$$
|
||||
|
||||
与 V2 不同：**V3 用 sigmoid 计算亲和度，并对选中的亲和度归一化得到门控值**。
|
||||
|
||||
### 3.2 无辅助损失的负载均衡
|
||||
|
||||
负载不均会导致路由崩溃并削弱专家并行的效率，而辅助损失过大又损害性能。V3 把均衡信号从损失挪进路由：为每个专家引入偏置 $b_i$，用它参与 top-$K$ 路由决策，
|
||||
|
||||
$$g'_{i,t}=\begin{cases}s_{i,t}, & s_{i,t}+b_i\in\operatorname{Topk}(\{s_{j,t}+b_j\},K_r)\\ 0, & \text{otherwise}\end{cases}$$
|
||||
|
||||
**偏置只参与路由、不参与门控**。训练中每步监控批内负载：过载减 $\gamma$、欠载加 $\gamma$（前 14.3T token 取 0.001）；另用极小的序列级互补辅助损失（$\mathcal{L}_{\mathrm{Bal}}=\alpha\sum_i f_iP_i$，$\alpha=0.0001$）防单序列内极端失衡，并用节点受限路由限制每 token 至多发往 $M=4$ 个节点。均衡良好，故**训练与推理均不丢弃 token**。
|
||||
|
||||
### 3.3 多 token 预测（MTP）
|
||||
|
||||
与 Gloeckle 等人并行预测 $D$ 个额外 token 不同，V3 **顺序预测并保持完整因果链**。第 $k$ 个 MTP 模块含共享嵌入层、共享输出头、Transformer 块与投影矩阵 $M_k\in\mathbb{R}^{d\times 2d}$：
|
||||
|
||||
$$\mathbf{h}_i'^{k}=M_k[\operatorname{RMSNorm}(\mathbf{h}_i^{k-1});\operatorname{RMSNorm}(\operatorname{Emb}(t_{i+k}))],\qquad \mathbf{h}_{1:T-k}^{k}=\operatorname{TRM}_k(\mathbf{h}_{1:T-k}'^{k}),\qquad P_{i+k+1}^{k}=\operatorname{OutHead}(\mathbf{h}_i^{k})$$
|
||||
|
||||
训练目标是各深度交叉熵损失的加权平均 $\mathcal{L}_{\text{MTP}}=\frac{\lambda}{D}\sum_{k=1}^{D}\mathcal{L}_{\text{MTP}}^{k}$。**推理时 MTP 模块可整体丢弃**，也可复用为投机解码。
|
||||
|
||||
### 3.4 训练基础设施：DualPipe、通信与显存
|
||||
|
||||
集群为 2048 张 H800（节点内 NVLink，跨节点 IB），采用 16 路流水线并行（PP）、跨 8 节点的 64 路专家并行（EP）与 ZeRO-1 数据并行。
|
||||
|
||||
**DualPipe** 针对约 1:1 的计算通信比，把 chunk 拆为注意力、dispatch、MLP、combine 四部分，反向 chunk 的注意力与 MLP 再分为对输入与对权重两部分，并按比例调配通信与计算的 SM，从而**同时隐藏 all-to-all 与 PP 通信**，并双向喂入微批次。其气泡为 $(\frac{PP}{2}-1)(F\&B+B-3W)$，参数占用 2×、激活为 $PP+1$，但大 EP 规模下两份参数并不显著增加显存。
|
||||
|
||||
**跨节点 all-to-all 内核**与 MoE 门控及网络拓扑协同设计：NVLink 带宽 160 GB/s 约为 IB（50 GB/s）的 3.2 倍，故**限制每 token 至多发往 4 个节点**；token 先经 IB 到目标节点的同号 GPU，再经 NVLink 转发到承载目标专家的 GPU。**实践中只选 8 个路由专家，该成本最多可支撑 13 个（4 节点 × 3.2）**；仅 20 个 SM 即可跑满带宽。
|
||||
|
||||
**显存优化**：反向重算 RMSNorm 与 MLA 上投影，EMA 参数置于 CPU 异步更新，并把最浅层与最深层放在同一 PP rank 以物理共享嵌入层与输出头。
|
||||
|
||||
### 3.5 FP8 混合精度训练
|
||||
|
||||
低精度训练的难点在于激活、权重与梯度中的离群值。该框架让**计算密集的 GEMM（Fprop/Dgrad/Wgrad）全部以 FP8 执行**（输入 FP8、输出 BF16 或 FP32，理论上较 BF16 提速一倍），而**嵌入、输出头、MoE 门控、归一化与注意力算子保留高精度**。四项关键技术：
|
||||
|
||||
- **细粒度量化**：激活按 $1\times128$ tile、权重按 $128\times128$ block 分组缩放，避免以张量最大绝对值对齐 FP8 范围造成的离群值敏感。
|
||||
- **提升累加精度**：H800 的 FP8 GEMM 累加仅约 14 位尾数，$K=4096$ 时相对误差近 2%；做法是**每累加 $N_C=128$ 个元素就把部分和搬到 CUDA Core 的 FP32 寄存器做全精度累加**。
|
||||
- **尾数优先于指数**：以往 Fprop 用 E4M3、Dgrad/Wgrad 用 E5M2，**V3 统一用 E4M3**。
|
||||
- **在线量化**：不做延迟量化，而是**实时计算每个 tile/block 的最大绝对值**再导出缩放因子。
|
||||
|
||||
配套措施：AdamW 动量用 BF16，Linear 激活以 FP8 缓存（注意力后的输入用定制 E5M6），MoE 上投影前的激活也量化为 FP8。**相对损失误差始终低于 0.25%**；附录 B.2 指出激活梯度若也块状量化会导致约 16B MoE 训练发散。
|
||||
|
||||
### 3.6 推理与部署
|
||||
|
||||
**预填充**最小单元为 4 节点 32 GPU，注意力用 TP4 + 序列并行（SP）配 DP8，MoE 用 EP32；为均衡负载引入**冗余专家**：复制高负载专家并每约 10 分钟按在线统计调整，预填充设 32 个（每卡除原有 8 个专家外再承载 1 个）。
|
||||
|
||||
**解码**把共享专家视为路由专家，故每 token 实际路由 9 个专家。最小单元为 40 节点 320 GPU，注意力用 TP4 + SP 配 DP80，MoE 用 EP320；每卡只承载一个专家，另有 64 张 GPU 承载冗余与共享专家；dispatch/combine 经 IB 点对点直传。
|
||||
|
||||
### 3.7 预训练：数据、超参与长上下文
|
||||
|
||||
语料提高了数学与编程样本比例、多语言覆盖超出中英，用文档打包但不做跨样本注意力掩码；沿用 DeepSeekCoder-V2 的**中间填充（FIM）策略**（PSM 结构，比例 0.1）。分词器为字节级 BPE，词表 128K，并随机拆分「标点+换行」组合 token 以缓解 token 边界偏差。
|
||||
|
||||
模型超参：61 层、隐藏维度 7168；MLA 中 $n_h=128$、$d_h=128$、$d_c=512$、$d_c'=1536$、$d_h^R=64$；除前 3 层外全部 FFN 换为 MoE，每层 1 个共享专家 + 256 个路由专家，专家中间维度 2048，每 token 激活 8 个、至多送往 4 个节点；MTP 深度 $D=1$。训练超参：AdamW（$\beta_1=0.9$、$\beta_2=0.95$、weight decay 0.1），序列长度 4K，学习率在 2K 步内升至 $2.2\times10^{-4}$、10T token 后余弦衰减至 $2.2\times10^{-5}$，批次由 3072 增至 15360，MTP 权重 $\lambda$ 前 10T token 取 0.3、其余取 0.1。
|
||||
|
||||
**长上下文扩展**：用 YaRN 分两阶段各 1000 步把窗口由 4K 扩到 32K 再到 128K，仅施加于解耦共享键 $\mathbf{k}_t^R$（$s=40$、$\alpha=1$、$\beta=32$、$\sqrt{t}=0.1\ln s+1$），学习率 $7.3\times10^{-6}$。
|
||||
|
||||
### 3.8 后训练：SFT、RL 与 R1 蒸馏
|
||||
|
||||
SFT 数据集含 **1.5M 条**多领域实例。推理类数据（数学、代码竞赛、逻辑谜题）由内部 DeepSeek-R1 生成，但 R1 数据有过度思考、格式差、过长等问题，故先用 SFT + RL 管线训练领域专家模型，为每条实例生成 `<问题, 原始回答>` 与 `<系统提示, 问题, R1 回答>` 两类样本，系统提示引导产出带反思与验证机制的响应；RL 阶段让模型融合 R1 模式，数百步后以拒绝采样筛选数据。非推理数据由 DeepSeek-V2.5 生成并经人工校验。SFT 微调 2 个 epoch，学习率由 $5\times10^{-6}$ 余弦降至 $1\times10^{-6}$。
|
||||
|
||||
RL 使用**规则奖励模型**（数学题按格式校验、LeetCode 跑测试用例）与**模型奖励模型**（从 SFT 检查点训练，偏好数据含通向奖励的思维链）。算法为 **GRPO**：省去 critic，用组内得分估计基线，对组内采样 $\{o_i\}_{i=1}^{G}$ 上取裁剪后的重要性比率乘优势 $A_i=\frac{r_i-\operatorname{mean}(\{r\})}{\operatorname{std}(\{r\})}$，并减去相对参考模型的 KL 惩罚。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
### 4.1 基座模型（DeepSeek-V3-Base）
|
||||
|
||||
| 基准 / 任务 | 本模型（37B 激活 / 671B 总参数） | DeepSeek-V2 / Qwen2.5 72B / LLaMA-3.1 405B | 说明 |
|
||||
|---|---|---|---|
|
||||
| MMLU (EM, 5-shot) | 87.1 | 78.4 / 85.0 / 84.4 | 全面领先 |
|
||||
| MMLU-Pro (EM, 5-shot) | 64.4 | 51.4 / 58.3 / 52.8 | 领先幅度大 |
|
||||
| BBH (EM, 3-shot) | 87.5 | 78.8 / 79.8 / 82.9 | 领先 |
|
||||
| DROP (F1, 3-shot) | 89.0 | 80.4 / 80.6 / 86.0 | 领先 |
|
||||
| MATH (EM, 4-shot) | 61.6 | 43.4 / 54.4 / 49.0 | 数学优势明显 |
|
||||
| GSM8K (EM, 8-shot) | 89.3 | 81.6 / 88.3 / 83.5 | 领先 |
|
||||
| CMath (EM, 3-shot) | 90.7 | 78.7 / 84.5 / 77.3 | 中文数学领先 |
|
||||
| HumanEval (Pass@1) | 65.2 | 43.3 / 53.0 / 54.9 | 代码领先 |
|
||||
| LiveCodeBench-Base (Pass@1) | 19.4 | 11.6 / 12.9 / 15.5 | 领先 |
|
||||
| CRUXEval-O (EM, 2-shot) | 69.8 | 49.8 / 59.9 / 59.9 | 领先 |
|
||||
| C-Eval (EM, 5-shot) | 90.1 | 81.4 / 89.2 / 72.5 | 中文领先 |
|
||||
| CMMLU (EM, 5-shot) | 88.8 | 84.0 / 89.5 / 73.7 | 略低于 Qwen2.5 72B |
|
||||
| MMMLU-non-English (EM) | 79.4 | 64.0 / 74.8 / 73.8 | 多语言领先 |
|
||||
|
||||
V3-Base 在绝大多数基准上最佳，数学与代码尤为突出：相较 Qwen2.5 72B 仅用约一半激活参数即占优（仅 CMMLU 例外），相较激活参数为其 11 倍的 LLaMA-3.1 405B 在多语言、代码、数学上明显更好。
|
||||
|
||||
### 4.2 对话模型（标准与开放式评测）
|
||||
|
||||
| 基准 / 任务 | DeepSeek-V3 | Claude-3.5-Sonnet-1022 / GPT-4o-0513 | 说明 |
|
||||
|---|---|---|---|
|
||||
| MMLU (EM) | 88.5 | 88.3 / 87.2 | 同级 |
|
||||
| MMLU-Pro (EM) | 75.9 | 78.0 / 72.6 | 略逊于 Claude |
|
||||
| GPQA-Diamond (Pass@1) | 59.1 | 65.0 / 49.9 | 仅次于 Claude，明显优于其他对手 |
|
||||
| SimpleQA (Correct) | 24.9 | 28.4 / 38.2 | 落后，作者归因于中文学识的资源分配 |
|
||||
| C-SimpleQA (Correct) | 64.8 | 51.3 / 59.3 | 中文学识领先 |
|
||||
| DROP (3-shot F1) | 91.6 | 88.3 / 83.7 | 该类最佳 |
|
||||
| IF-Eval (Prompt Strict) | 86.1 | 86.5 / 84.3 | 与顶级模型同级 |
|
||||
| LongBench v2 (Acc.) | 48.7 | 41.0 / 48.1 | 同级最佳 |
|
||||
| LiveCodeBench (Pass@1-CoT) | 40.5 | 36.3 / 33.4 | 领先 |
|
||||
| Codeforces (Percentile) | 51.6 | 20.3 / 23.6 | 大幅领先 |
|
||||
| SWE Verified (Resolved) | 42.0 | 50.8 / 38.8 | 略低于 Claude-Sonnet-3.5 |
|
||||
| Aider-Polyglot (Acc.) | 49.6 | 45.3 / 16.0 | 领先 |
|
||||
| AIME 2024 (Pass@1) | 39.2 | 16.0 / 9.3 | 大幅领先 |
|
||||
| MATH-500 (EM) | 90.2 | 78.3 / 74.6 | 大幅领先 |
|
||||
| CNMO 2024 (Pass@1) | 43.2 | 13.1 / 10.8 | 大幅领先 |
|
||||
| Arena-Hard | 85.5 | 85.2 / 80.4 | 首个超过 85% 的开源模型 |
|
||||
| AlpacaEval 2.0（长度控制胜率） | 70.0 | 52.0 / 51.1 | 领先约 18 个百分点 |
|
||||
| RewardBench（平均） | 87.0（投票 maj@6 为 89.6） | 88.7 / 84.7 | 与最佳版本相当 |
|
||||
|
||||
V3 在数学（AIME 2024、MATH-500、CNMO 2024 均超第二名约 10 个百分点）与算法竞赛类代码上取得非长 CoT 模型的最优结果，开放式评测双双领先闭源模型；差距仍在英文事实性知识、SWE 任务及 GPQA、MMLU-Pro。
|
||||
|
||||
### 4.3 消融与效率
|
||||
|
||||
| 实验 | 设置 | 结果 |
|
||||
|---|---|---|
|
||||
| MTP 消融 | 小规模 15.7B（1.33T token）、大规模 228.7B（540B token） | 多数基准稳定提升，大规模 HumanEval 44.5 → 53.7、GSM8K 72.3 → 74.0 |
|
||||
| 无辅助损失均衡消融 | 同上两规模，对比纯辅助损失基线 | 一致更优：大规模 HumanEval 40.2 → 46.3、GSM8K 70.7 → 74.5、MATH 37.2 → 39.6 |
|
||||
| 批次级 vs 序列级均衡 | 1B / 3B MoE 验证损失 | 序列级 2.258/2.085；无辅助损失 2.253/2.080；批次级辅助损失 2.253/2.080 |
|
||||
| FP8 vs BF16 | 约 16B（1.33T token）、约 230B（0.9T token） | 相对损失误差始终低于 0.25% |
|
||||
| R1 蒸馏 | 基于 DeepSeek-V2.5 | LiveCodeBench-CoT 31.1 → 37.4，MATH-500 74.6 → 83.2，但响应长度显著增加（769 → 1510） |
|
||||
| MTP 投机解码 | 第二 token 接受率 | 各主题下 85%–90%，解码速度达 1.8 倍 TPS |
|
||||
|
||||
成本：预训练 2664K H800 GPU 小时、上下文扩展 119K、后训练 5K，合计 2788K GPU 小时（约 5.576M 美元）；每训练 1T token 仅需 180K GPU 小时，即在 2048 卡集群上约 3.7 天。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeek-V3 是总参数 671B、激活 37B、在 14.8T token 上训练的 MoE 模型，以 MLA、无辅助损失负载均衡、MTP 与 FP8 训练压低成本，并从 DeepSeek-R1 蒸馏出推理能力；它已是当前最强开源模型，完整训练仅需 2.788M H800 GPU 小时。
|
||||
- **局限性**（作者自述，集中于部署）：推荐部署单元相对庞大，对小团队构成负担；端到端生成速度虽已超 DeepSeek-V2 两倍，仍有提升空间，作者认为这些局限有望随更先进硬件解决。上述成本仅含正式训练。
|
||||
- **影响**：V3 把同性能训练成本压到百万美元量级并坚持开源，缩小了开源与闭源模型的差距；其 FP8 方案、DualPipe 调度与通信内核设计对后续训练系统与芯片设计有参考价值。未来将改进架构以逼近无限上下文、扩展数据与训练信号来源、拓展深度思考的推理深度，并建立更全面多维的评测方法。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||||
| Multi-head Latent Attention (MLA) | 多头潜在注意力 |
|
||||
| Auxiliary-Loss-Free Load Balancing | 无辅助损失负载均衡 |
|
||||
| Multi-Token Prediction (MTP) | 多 token 预测 |
|
||||
| Expert Parallelism (EP) | 专家并行 |
|
||||
| Pipeline Parallelism (PP) | 流水线并行 |
|
||||
| Node-Limited Routing | 节点受限路由 |
|
||||
| DualPipe | 双向流水线调度算法（论文自研） |
|
||||
| All-to-All Communication | 全对全通信 |
|
||||
| FP8 Mixed Precision Training | FP8 混合精度训练 |
|
||||
| Fine-Grained Quantization | 细粒度量化 |
|
||||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||||
| Speculative Decoding | 投机解码 |
|
||||
| Redundant Experts | 冗余专家 |
|
||||
| Knowledge Distillation | 知识蒸馏 |
|
||||
Binary file not shown.
@@ -0,0 +1,150 @@
|
||||
# DeepSeek-V3.2：推进开放大语言模型的前沿
|
||||
|
||||
> **原文标题**：DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models
|
||||
> **arXiv**：[2512.02556](https://arxiv.org/abs/2512.02556) ｜ **发布**：2 Dec 2025
|
||||
> **作者/机构**：DeepSeek-AI（Aixin Liu、Aoxue Mei、Bangcai Lin、Bing Xue 等，完整作者列表见附录 E）；DeepSeek（深度求索）
|
||||
> **原文 PDF**：[05-DeepSeek-V3.2-2512.02556.pdf](./05-DeepSeek-V3.2-2512.02556.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
我们提出 DeepSeek-V3.2，一个将高计算效率与卓越推理能力和智能体（agent）表现统一起来的模型。DeepSeek-V3.2 的关键技术突破如下：（1）DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）：我们提出 DSA，一种高效的注意力机制，在长上下文场景下大幅降低计算复杂度，同时保持模型性能。（2）可扩展的强化学习框架：通过实现一套稳健的强化学习协议并扩展后训练算力，DeepSeek-V3.2 的表现与 GPT-5 相当。值得注意的是，我们的高算力变体 DeepSeek-V3.2-Speciale 超越了 GPT-5，并展现出与 Gemini-3.0-Pro 同级的推理能力，在 2025 年国际数学奥林匹克（IMO）与国际信息学奥林匹克（IOI）中均取得金牌级成绩。（3）大规模智能体任务合成流水线：为将推理能力融入工具使用场景，我们开发了一套新颖的合成流水线，能够系统性地大规模生成训练数据。该方法支撑了可扩展的智能体后训练，在复杂交互环境中显著提升了泛化能力与指令遵循的稳健性。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **DeepSeek 稀疏注意力（DSA）**：以「闪电索引器 + 细粒度 token 选择」把主模型注意力核心复杂度从 $O(L^2)$ 降到 $O(Lk)$，短、长上下文任务均未见相对 DeepSeek-V3.1-Terminus 的实质退化。
|
||||
2. **可扩展的强化学习框架**：以四项稳定化技术把 GRPO 规模化，后训练算力超过预训练成本的 10%，推理基准追平 GPT-5。
|
||||
3. **大规模智能体任务合成流水线**：合成 1800+ 环境、85000+ 复杂提示，在 RL 训练域之外的智能体基准上仍显著提升。
|
||||
4. **高算力变体 DeepSeek-V3.2-Speciale**：仅用推理数据训练并削弱长度惩罚，在 IMO、CMO、IOI、ICPC World Final 2025 四项竞赛中均达金牌水平。
|
||||
5. **推理成本显著下降**：DSA 使长上下文端到端明显加速；在 H800 上按 2 美元/GPU 小时估算，token 成本低于 V3.1-Terminus。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 DeepSeek Sparse Attention 的原型与 MLA 实现
|
||||
|
||||
论文把开闭源模型差距归因于三点：朴素注意力令长序列低效、后训练算力不足、智能体泛化与指令遵循落后；DSA 针对第一点，由闪电索引器（lightning indexer）与细粒度 token 选择组成。索引器为查询与前序 token 打分：
|
||||
|
||||
$$I_{t,s}=\sum_{j=1}^{H^{I}}w_{t,j}^{I}\cdot\text{ReLU}\left(\mathbf{q}^{I}_{t,j}\cdot\mathbf{k}^{I}_{s}\right)$$
|
||||
|
||||
选 ReLU 纯为吞吐考虑；索引器头数少且可用 FP8，故效率很高。之后只对 top-$k$ 分数对应的键值条目做注意力：
|
||||
|
||||
$$\mathbf{u}_{t}=\text{Attn}\left(\mathbf{h}_t,\left\{\mathbf{c}_s \mid I_{t,s}\in\text{Top-k}\left(I_{t,:}\right)\right\}\right)$$
|
||||
|
||||
为便于从 V3.1-Terminus 继续训练，DSA 实例化在 MLA 的 MQA 模式上，使每个潜向量被同一查询 token 的所有查询头共享——这是内核层面的硬约束：各头独立选 top-$k$ 反而低效。
|
||||
|
||||
### 3.2 继续预训练：稠密预热 + 稀疏训练
|
||||
|
||||
起点是上下文已扩至 128K 的 V3.1-Terminus 基座，两阶段数据分布与之对齐。稠密预热保持稠密注意力、冻结除索引器外全部参数，把主注意力分数沿头求和后沿序列 L1 归一化得目标分布 $p_{t,:}$，以 KL 散度训练索引器：
|
||||
|
||||
$$\mathcal{L}^{I}=\sum_{t}\mathbb{D}_{\mathrm{KL}}\left(p_{t,:}\,\middle\|\,\text{Softmax}\left(I_{t,:}\right)\right)$$
|
||||
|
||||
学习率 $10^{-3}$，1000 步 × 16 条 128K 序列，共 2.1B tokens。稀疏训练引入选择机制并优化全部参数以适应稀疏模式，索引器只在被选集合 $\mathcal{S}_t$ 上对齐：
|
||||
|
||||
$$\mathcal{L}^{I}=\sum_{t}\mathbb{D}_{\mathrm{KL}}\left(p_{t,\mathcal{S}_t}\,\middle\|\,\text{Softmax}\left(I_{t,\mathcal{S}_t}\right)\right)$$
|
||||
|
||||
关键设计是把索引器输入从计算图 detach，索引器只由 $\mathcal{L}^I$ 训练、主模型只按语言建模损失优化，二者解耦。此阶段学习率 $7.3\times10^{-6}$，每查询选 2048 个键值 token，15000 步 × 480 条 128K 序列，共 943.7B tokens。
|
||||
|
||||
### 3.3 平价评估与推理成本
|
||||
|
||||
稀疏化不损性能有三类证据：标准基准上 V3.2-Exp 与 V3.1-Terminus 在短、长上下文均无实质退化；人类偏好改用 ChatbotArena 间接评估（后训练策略相同、Elo 接近）；第三方评测中 AA-LCR 推理模式高 4 分、Fiction.liveBench 多指标更好。成本上，主模型注意力复杂度由 $O(L^2)$ 降至 $O(Lk)$，索引器虽仍为 $O(L^2)$ 但算量远小于 MLA；短序列 prefill 另用 masked MHA 模式模拟 DSA，成本按 H800、2 美元/GPU 小时估算。
|
||||
|
||||
### 3.4 后训练：专家蒸馏与混合 RL
|
||||
|
||||
专家蒸馏为每个任务先训练专属专家，均从同一预训练基座微调并施加大规模 RL，领域含数学、编程、逻辑推理、通用智能体任务、智能体编码与搜索，均支持思考（thinking）与非思考模式；蒸馏模型性能仅略低于专家，差距由后续 RL 消除。混合 RL 仍用 GRPO，把推理、智能体与人类对齐并入单一阶段以规避多阶段训练的灾难性遗忘；推理与智能体任务用规则结果奖励、长度惩罚与语言一致性奖励，通用任务用带评分细则（rubric）的生成式奖励模型。Speciale 变体仅在推理数据上训练并削弱长度惩罚，另引入 DeepSeekMath-V2 的数据集与奖励方法增强数学证明。
|
||||
|
||||
### 3.5 扩展 GRPO 的四项稳定化技术
|
||||
|
||||
GRPO 在组内 $G$ 个回答上最大化带裁剪的重要性采样比与 KL 惩罚目标，优势由组内奖励归一化得到 $\hat{A}_{i,t}=R_i-\text{mean}(\boldsymbol{R})$。四项改进：①无偏 KL 估计：token 采自旧策略，故用新旧策略重要性比修正 K3 估计量使梯度无偏；否则当 $\pi_{\theta}\ll\pi_{\mathrm{ref}}$ 时 K3 会给这些 token 过大的无界权重、累积噪声梯度。②Off-Policy 序列掩码：大批 rollout 切分 mini-batch 多步更新、加之推理与训练框架实现不一致，都会造成 off-policy；做法是掩掉「负优势且新旧策略 KL 散度超阈值 $\delta$」的序列，只掩负优势序列——从自身错误学习收益最大，高度 off-policy 的负样本反而误导优化。③Keep Routing：MoE 的推理与训练路由不一致会让同一输入激活不同专家、造成参数子空间突变；做法是保留采样时的专家路由并在训练中强制一致。④Keep Sampling Mask：top-p/top-k 截断使两策略动作空间不一致、违反重要性采样原则；保留采样时的截断掩码并施加于训练策略即恢复一致性。
|
||||
|
||||
### 3.6 工具使用中的思考
|
||||
|
||||
上下文管理：DeepSeek-R1 在第二轮消息到来时丢弃推理内容，使工具场景下每次调用都要重推问题。新规则是仅在引入新用户消息时丢弃历史推理内容，追加工具消息时保留，且推理移除后工具调用与结果历史仍在。冷启动用提示结合非智能体推理数据与非推理智能体数据，以 `<think></think>` 标签标记推理路径，并设计系统提示引导模型在推理中嵌套多次工具调用，虽不稳健却能偶尔产出理想轨迹，为 RL 打基础。大规模智能体任务中，搜索、代码工程与代码解释使用真实工具与环境：搜索数据由多智能体流水线合成问答对并多轮校验（只留标准答案正确、候选皆错的样本）后按 rubric 打分；代码数据从 GitHub 挖掘数百万 issue-PR 对，由自动智能体搭建可执行环境（要求 gold patch 下 F2P 非零、P2F 为零）；通用智能体自动合成 1827 个难求解易验证环境，其解函数只能调工具或做逻辑计算、不得直接访问数据库，从而强制经由工具接口求解，最终保留 pass@100 非零的 4417 个任务。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
评测覆盖 MMLU-Pro、GPQA Diamond、HLE（仅文本子集）、LiveCodeBench（2024.08–2025.04）、Codeforces、Aider-Polyglot、AIME 2025、HMMT Feb/Nov 2025、IMOAnswerBench、Terminal Bench 2.0、SWE-Verified、SWE Multilingual、BrowseComp、BrowseCompZh、$\tau^2$-bench、MCP-Universe、MCP-Mark、Tool-Decathlon；温度 1.0、窗口 128K，工具类基准用标准 function call 格式并以思考模式运行。
|
||||
|
||||
### 4.1 DeepSeek-V3.2 与闭源/开源模型对比（Table 2）
|
||||
|
||||
| 基准 / 任务 | DeepSeek-V3.2-Thinking | 对比对象（GPT-5-High / Gemini-3.0-Pro / Claude-4.5-Sonnet / Kimi-K2-Thinking / MiniMax-M2） | 说明 |
|
||||
|---|---|---|---|
|
||||
| MMLU-Pro (EM) | 85.0 | 87.5 / 90.1 / 88.2 / 84.6 / 82.0 | 落后闭源三强，高于 K2 |
|
||||
| GPQA Diamond (Pass@1) | 82.4 | 85.7 / 91.9 / 83.4 / 84.5 / 77.7 | 与闭源仍有差距 |
|
||||
| HLE (Pass@1，仅文本) | 25.1（官方模板 23.9） | 26.3 / 37.7 / 13.7 / 23.9 / 12.5 | 与 GPT-5 接近，远低于 Gemini |
|
||||
| LiveCodeBench (Pass@1-COT) | 83.3 | 84.5 / 90.7 / 64.0 / 82.6 / 83.0 | 与 GPT-5 基本持平 |
|
||||
| Codeforces (Rating) | 2386 | 2537 / 2708 / 1480 / – / – | 明显高于 Claude |
|
||||
| AIME 2025 (Pass@1) | 93.1 | 94.6 / 95.0 / 87.0 / 94.5 / 78.3 | 略低于 GPT-5 与 K2 |
|
||||
| HMMT Feb 2025 (Pass@1) | 92.5 | 88.3 / 97.5 / 79.2 / 89.4 / – | 超过 GPT-5 与 K2 |
|
||||
| HMMT Nov 2025 (Pass@1) | 90.2 | 89.2 / 93.3 / 81.7 / 89.2 / – | 略超 GPT-5 |
|
||||
| IMOAnswerBench (Pass@1) | 78.3 | 76.0 / 83.3 / – / 78.6 / – | 超过 GPT-5 与 K2 |
|
||||
| Terminal Bench 2.0 (Acc) | 46.4 | 35.2 / 54.2 / 42.8 / 35.7 / 30.0 | 开源最佳，超过 GPT-5 与 Claude |
|
||||
| SWE Verified (Resolved) | 73.1 | 74.9 / 76.2 / 77.2 / 71.3 / 69.4 | 开源最佳，闭源仍领先 |
|
||||
| SWE Multilingual (Resolved) | 70.2 | 55.3 / – / 68.0 / 61.1 / 56.5 | 已报告对比对象中最高 |
|
||||
| BrowseComp (Pass@1) | 51.4 / 67.6\* | 54.9 / – / 24.1 / –/60.2\* / 44.0 | \*为启用上下文管理后的分数 |
|
||||
| BrowseCompZh (Pass@1) | 65.0 | 63.0 / – / 42.4 / 62.3 / 48.5 | 超过 GPT-5 与 K2 |
|
||||
| HLE (Pass@1，搜索智能体组) | 40.8 | 35.2 / 45.8 / 32.0 / 44.9 / 31.8 | 超过 GPT-5，低于 Gemini 与 K2 |
|
||||
| $\tau^2$-Bench (Pass@1) | 80.3 | 80.2 / 85.4 / 84.7 / 74.3 / 76.9 | 与 GPT-5 持平，低于 Gemini/Claude |
|
||||
| MCP-Universe (成功率) | 45.9 | 47.9 / 50.7 / 46.5 / 35.6 / 29.4 | 接近 GPT-5 |
|
||||
| MCP-Mark (Pass@1) | 38.0 | 50.9 / 43.1 / 33.3 / 20.4 / 24.4 | 与 GPT-5 差距最大 |
|
||||
| Tool-Decathlon (Pass@1) | 35.2 | 29.0 / 36.4 / 38.6 / 17.6 / 16.0 | 超过 GPT-5 与 Gemini |
|
||||
|
||||
推理上与 GPT-5-High 相近、略逊 Gemini-3.0-Pro，但在 HMMT 与 IMOAnswerBench 上反超 GPT-5 与 K2，且输出 token 更少；智能体与工具使用大幅缩小开闭源差距，SWE 系与 Terminal Bench 为开源最佳，整体仍低于前沿闭源模型，MCP-Mark 差距最大。Terminal Bench 的 46.4 用 Claude Code 框架取得，BrowseComp 的 51.4 未启用上下文管理。
|
||||
|
||||
### 4.2 DeepSeek-V3.2-Speciale 的性能与效率（Table 3）
|
||||
|
||||
| 基准 | GPT-5-High | Gemini-3.0-Pro | Kimi-K2-Thinking | DeepSeek-V3.2-Thinking | DeepSeek-V3.2-Speciale |
|
||||
|---|---|---|---|---|---|
|
||||
| AIME 2025 (Pass@1) | 94.6 (13k) | 95.0 (15k) | 94.5 (24k) | 93.1 (16k) | 96.0 (23k) |
|
||||
| HMMT Feb 2025 (Pass@1) | 88.3 (16k) | 97.5 (16k) | 89.4 (31k) | 92.5 (19k) | 99.2 (27k) |
|
||||
| HMMT Nov 2025 (Pass@1) | 89.2 (20k) | 93.3 (15k) | 89.2 (29k) | 90.2 (18k) | 94.4 (25k) |
|
||||
| IMOAnswerBench (Pass@1) | 76.0 (31k) | 83.3 (18k) | 78.6 (37k) | 78.3 (27k) | 84.5 (45k) |
|
||||
| LiveCodeBench (Pass@1-COT) | 84.5 (13k) | 90.7 (13k) | 82.6 (29k) | 83.3 (16k) | 88.7 (27k) |
|
||||
| CodeForces (Rating) | 2537 (29k) | 2708 (22k) | – | 2386 (42k) | 2701 (77k) |
|
||||
| GPQA Diamond (Pass@1) | 85.7 (8k) | 91.9 (8k) | 84.5 (12k) | 82.4 (7k) | 85.7 (16k) |
|
||||
| HLE (Pass@1) | 26.3 (15k) | 37.7 (15k) | 23.9 (24k) | 25.1 (21k) | 30.6 (35k) |
|
||||
|
||||
括号内为输出 token 数（千）；Speciale 靠更多推理 token 在多个基准上超过 Gemini-3.0-Pro，但 token 效率明显不如后者。竞赛成绩（Table 4）：IMO 2025 得 35/42 分、CMO 2025 得 102/126 分、IOI 2025 得 492/600 分（第 10 名）、ICPC WF 2025 解出 10/12 题（第 2 名），全部金牌，其中 IOI 与 ICPC WF 未做针对性训练。
|
||||
|
||||
### 4.3 合成智能体任务的难度与泛化（Table 5、Figure 5）
|
||||
|
||||
| Pass@K | DeepSeek-V3.2-Exp | Sonnet-4.5 | Gemini-3.0-Pro | GPT-5-Thinking |
|
||||
|---|---|---|---|---|
|
||||
| 1 | 12% | 34% | 51% | 62% |
|
||||
| 2 | 18% | 47% | 65% | 75% |
|
||||
| 4 | 26% | 62% | 74% | 82% |
|
||||
|
||||
抽 50 个合成通用智能体任务，DeepSeek-V3.2-Exp 的 Pass@1 仅 12%，前沿闭源模型最高 62%。泛化上，仅用合成通用智能体数据、在非思考模式下对 V3.2-SFT 做 RL，即在 Tau2Bench、MCP-Mark、MCP-Universe 上相对 SFT 大幅提升；而仅在代码与搜索环境做 RL 的 V3.2-Exp 毫无提升。
|
||||
|
||||
### 4.4 搜索智能体的上下文管理（Figure 6）
|
||||
|
||||
即使窗口达 128K，搜索类智能体仍常触上限而提前截断推理，故在 token 用量超过窗口 80% 时启用上下文管理：Summary 总结溢出轨迹并重新 rollout，最高 60.2 分但平均步数达 364；Discard-all 丢弃全部历史以重置上下文，以 67.6 分兼顾效率与可扩展性。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DSA 在不牺牲长上下文性能下解决注意力复杂度瓶颈，扩大后训练算力使推理基准追平 GPT-5；大规模智能体任务合成显著提升工具使用能力；Speciale 以 IMO、IOI 金牌为开源模型立下里程碑。作者观察到性能随 RL 预算单调提升，据此判断推理能力还可随算力增长。
|
||||
- **局限性**：作者自述三点：总训练 FLOPs 较少，世界知识广度落后于领先闭源模型，计划扩大预训练算力；token 效率仍是挑战，需更长轨迹才能达到 Gemini-3.0-Pro 级输出质量，未来优化推理链的「智能密度」；复杂任务求解仍不及前沿模型。正文另指出模型常冗余自我验证、轨迹过长而超出 128K，思考模式的上下文管理与 Terminus 不兼容。
|
||||
- **影响**：论文给出可复制的开源追赶路径：稀疏注意力压低成本、RL 配方换取推理能力、合成环境换取智能体泛化。附录 Table 9 显示非思考模式略低但仍有竞争力（SWE Verified 72.1 对 73.1、$\tau^2$-bench 77.2 对 80.3、MCP-Mark 26.5 对 38.0）。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| DeepSeek Sparse Attention (DSA) | DeepSeek 稀疏注意力 |
|
||||
| Lightning Indexer | 闪电索引器 |
|
||||
| Fine-Grained Token Selection | 细粒度 token 选择 |
|
||||
| Multi-Head Latent Attention (MLA) | 多头潜在注意力 |
|
||||
| MQA / MHA Mode | 多查询注意力模式 / 多头注意力模式 |
|
||||
| Continued Pre-Training | 继续预训练 |
|
||||
| Dense Warm-up Stage | 稠密预热阶段 |
|
||||
| Sparse Training Stage | 稀疏训练阶段 |
|
||||
| Parity Evaluation | 平价评估（验证稀疏化不损性能） |
|
||||
| Specialist Distillation | 专家蒸馏 |
|
||||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||||
| Unbiased KL Estimate | 无偏 KL 估计 |
|
||||
| Off-Policy Sequence Masking | 离策略序列掩码 |
|
||||
| Keep Routing | 保留路由（训练沿用采样时的专家路由） |
|
||||
| Keep Sampling Mask | 保留采样掩码 |
|
||||
| Agentic Task Synthesis Pipeline | 智能体任务合成流水线 |
|
||||
| Cold-Start | 冷启动 |
|
||||
| Context Management | 上下文管理 |
|
||||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||||
| Test-Time Compute | 测试时算力 |
|
||||
Binary file not shown.
@@ -0,0 +1,132 @@
|
||||
# DeepSeek-V4：迈向高效百万 Token 上下文智能
|
||||
|
||||
> **原文标题**：DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
|
||||
> **arXiv**：[2606.19348](https://arxiv.org/abs/2606.19348) ｜ **发布**：26 Apr 2026
|
||||
> **作者/机构**：DeepSeek-AI（DeepSeek 深度求索）
|
||||
> **原文 PDF**：[06-DeepSeek-V4-2606.19348.pdf](./06-DeepSeek-V4-2606.19348.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
我们提出 DeepSeek-V4 系列的预览版本，包含两个强大的混合专家（Mixture-of-Experts, MoE）语言模型——拥有 1.6T 参数（激活 49B）的 DeepSeek-V4-Pro 与拥有 284B 参数（激活 13B）的 DeepSeek-V4-Flash——两者均支持一百万 token 的上下文长度。DeepSeek-V4 系列在架构与优化方面引入了若干关键升级：(1) 一种混合注意力架构，将压缩稀疏注意力（Compressed Sparse Attention, CSA）与重压缩注意力（Heavily Compressed Attention, HCA）结合，以提升长上下文效率；(2) 流形约束超连接（Manifold-Constrained Hyper-Connections, mHC），用于增强传统残差连接；(3) 以及 Muon 优化器，以实现更快的收敛与更高的训练稳定性。我们在超过 32T 多样化且高质量的 token 上预训练这两个模型，随后通过一套完整的后训练流水线释放并进一步增强其能力。DeepSeek-V4-Pro-Max，即 DeepSeek-V4-Pro 的最大推理强度模式，重新定义了开放模型的最先进水平，在核心任务上超越了它的前代模型。同时，DeepSeek-V4 系列在长上下文场景中极为高效。在一百万 token 的上下文设定下，DeepSeek-V4-Pro 仅需 DeepSeek-V3.2 的 27% 单 token 推理 FLOPs 和 10% 的 KV cache。这使我们能够常规性地支持一百万 token 上下文，从而使长程任务与进一步的测试时扩展变得更为可行。模型检查点可在 https://huggingface.co/collections/deepseek-ai/deepseek-v4 获取。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **CSA + HCA 混合注意力**：把 KV cache 沿序列维压缩 $1/m$（CSA，$m=4$，再叠加稀疏选择）与 $1/m'$（HCA，$m'=128$，保留稠密注意力）并交错堆叠，破解注意力二次复杂度瓶颈；1M 上下文下 Pro 的单 token FLOPs 与 KV cache 仅为 V3.2 的 27% 与 10%。
|
||||
2. **流形约束超连接（mHC）**：把残差映射矩阵约束在双随机矩阵流形上，使谱范数有界、残差变换非扩张，解决朴素超连接多层堆叠的数值不稳定。
|
||||
3. **Muon 优化器**：以混合 Newton-Schulz 正交化替换既有实现，并解决其与 ZeRO 的冲突，带来更快收敛与更好稳定性。
|
||||
4. **系统与工程**：细粒度专家并行通信-计算重叠（最高 1.96×）、TileLang 融合算子、批次不变且位级确定性的算子库、异构 KV cache 与磁盘缓存。
|
||||
5. **两阶段后训练**：领域专家独立培养后用多教师全词表同策略蒸馏合并，并配套 FP4 量化感知训练。
|
||||
6. **结果**：Pro-Max 在 SimpleQA-Verified 上领先开源模型约 20 个百分点，LiveCodeBench 93.5 与 Codeforces 3206 均为对比最高。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 继承自 DeepSeek-V3 的设计
|
||||
|
||||
前馈层沿用 DeepSeekMoE（细粒度路由专家 + 共享专家），但把亲和度分数的激活函数由 $\operatorname{Sigmoid}(\cdot)$ 改为 $\operatorname{Sqrt}(\operatorname{Softplus}(\cdot))$；负载均衡沿用无辅助损失的偏置策略并补充极小的序列级平衡损失，取消了对路由目标节点数的限制。最初若干 Transformer 块的稠密 FFN 改为哈希路由（Hash routing）的 MoE 层，按 token ID 经哈希函数直接决定专家。多 token 预测（MTP）模块与 V3 一致，深度为 1。
|
||||
|
||||
### 3.2 流形约束超连接（mHC）
|
||||
|
||||
标准超连接（HC）把残差流宽度扩大 $n_{\text{hc}}$ 倍，引入输入映射 $A_l$、残差变换 $B_l$、输出映射 $C_l$：
|
||||
|
||||
$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_lX_l)$$
|
||||
|
||||
它把残差宽度与隐藏维度解耦，提供开销很小的额外扩展轴（$n_{\text{hc}}\ll d$），但多层堆叠时训练频繁数值不稳定。mHC 的核心是把 $B_l$ 约束到双随机矩阵（Birkhoff 多面体）流形：
|
||||
|
||||
$$B_l\in\mathcal{M}\coloneq\{M\in\mathbb{R}^{n\times n}\mid M\mathbf{1}_n=\mathbf{1}_n,\ \mathbf{1}_n^{T}M=\mathbf{1}_n^{T},\ M\geqslant 0\}$$
|
||||
|
||||
该约束保证 $\|B_l\|_2\le 1$、残差变换非扩张，且 $\mathcal{M}$ 对乘法封闭，故深层堆叠仍稳定；$A_l$、$C_l$ 另用 Sigmoid 约束为非负有界以避免信号抵消。三个映射的参数动态生成（输入相关项 + 静态偏置 + 小初始化门控因子），投影到流形用 Sinkhorn-Knopp 迭代（先 $\exp$ 保证正性，再反复行列归一化，$t_{\max}=20$）。
|
||||
|
||||
### 3.3 CSA 与 HCA 混合注意力
|
||||
|
||||
极长上下文下注意力成为主导瓶颈，故设计两种高效注意力并交错使用。
|
||||
|
||||
**CSA（压缩稀疏注意力）** 先把每 $m$ 个 token 的 KV 压缩为一个条目，再施加 DeepSeek 稀疏注意力（DSA），每个 query 只关注 $k$ 个压缩条目。压缩时并行计算两组 KV 条目与压缩权重，对 $2m$ 个元素做行 softmax 后加权求和，两组索引区间重叠使压缩率恰为 $1/m$。稀疏选择由闪电索引器完成：query 经低秩投影得到索引器 query，索引分数 $I_{t,s}=\sum_{h=1}^{n_h^I}w_{t,h}^I\cdot\text{ReLU}(\mathbf{q}_{t,h}^I\cdot K_s^{\text{IComp}})$，取 top-k 得候选集。核心注意力以多查询注意力（MQA）进行，压缩条目兼作 key 与 value，且压缩隐向量与索引器共享；因 $cn_h$ 很大，采用分组输出投影（先降到中间维度 $d_g$ 再拼接投影回 $d$ 维）。
|
||||
|
||||
**HCA（重压缩注意力）** 用更大的压缩率 $m'(\gg m)$ 且不做重叠压缩，保留稠密注意力，其余与 CSA 相同：CSA 侧重保精度，HCA 侧重省算力与显存。
|
||||
|
||||
其余细节：核心注意力前对 query 与压缩 KV 条目施加 RMSNorm 以防 logits 爆炸；对 query、KV 条目与输出的最后 64 维施加部分 RoPE，并对输出以位置 $-i$ 再施加一次；因 query 看不到自身压缩块内的信息，另设滑窗分支补充 $n_{\text{win}}$ 个未压缩 KV 条目建模局部依赖。效率上 KV 条目混合存储（RoPE 维 BF16、其余 FP8）使 cache 近半减，索引器内注意力用 FP4 计算；1M 上下文下 KV cache 可降至 BF16 GQA8 基线的约 2%。
|
||||
|
||||
### 3.4 Muon 优化器
|
||||
|
||||
Muon 用于绝大多数模块，embedding、预测头、mHC 的静态偏置与门控因子、所有 RMSNorm 权重仍用 AdamW。算法沿用权重衰减、Nesterov 技巧与 RMS 重缩放以复用 AdamW 超参，不同之处是采用混合 Newton-Schulz 迭代做正交化：共 10 次迭代，前 8 步用 $(a,b,c)=(3.4445,-4.7750,2.0315)$ 快速收敛使奇异值接近 1，后 2 步改用 $(2,-1.5,0.5)$ 把奇异值精确稳定在 1。由于新架构允许直接在 query 与 KV 条目上做 RMSNorm 抑制 logits 爆炸，不再需要 QK-Clip。
|
||||
|
||||
### 3.5 通用基础设施
|
||||
|
||||
- **细粒度 EP 重叠**：MoE 层可分解为 Dispatch、Combine 两个通信受限阶段与 Linear-1、Linear-2 两个计算受限阶段，实测通信总时长小于计算。方案把专家切成多个「波」调度，一波通信完成即开始计算，稳态下计算、传输与回传并发；开源大核 MegaMoE 在 GPU 与 NPU 上取得通用推理 1.50~1.73×、延迟敏感场景最高 1.96× 加速。
|
||||
- **算子与框架**：TileLang 融合算子替代数百个 ATen 算子，Host Codegen 把 host 侧校验下沉到生成代码，并集成 Z3 做形式化整数分析；为让训练与推理位级可复现，放弃 split-KV 与 split-k，改用双 kernel 解码并对齐累加顺序。Muon 与 ZeRO 的冲突用混合分桶解决；mHC 经融合算子、重计算与 DualPipe 调整把墙钟开销压到流水阶段的 6.7%。推理侧用异构 KV cache（经典 KV cache 每块覆盖 $\mathrm{lcm}(m,m')$ 个原始 token，另设状态 cache 存放滑窗 KV 与未满压缩块尾部 token）与磁盘 KV cache 复用共享前缀。
|
||||
|
||||
### 3.6 预训练与后训练
|
||||
|
||||
数据在 V3 基础上更强调长文档（论文、技术报告）、多语言长尾知识与中期训练的 agentic 数据，词表仍为 128K。Flash 与 Pro 分别训练 32T 与 33T token，序列长度由 4K 逐步扩到 16K、64K、1M，先用稠密注意力预热 1T token 再引入稀疏注意力。作者发现 loss spike 与 MoE 层离群值强相关、路由会加剧离群值，据此提出**预判式路由（Anticipatory Routing）**——特征用当前参数计算而路由索引用历史参数计算（靠提前取数并缓存索引，附加墙钟开销约 20%，仅在检测到 spike 时触发短回滚）；以及 **SwiGLU 钳制**——线性分量限制在 $[-10,10]$、门控分量上界取 10。
|
||||
|
||||
后训练沿用 V3.2 流水线，但用同策略蒸馏（OPD）取代混合 RL：先按领域独立训练专家（SFT + GRPO），难验证的任务放弃标量奖励模型，改为在 rubric 引导下用生成式奖励模型（GRM）评价轨迹并把 RL 施加于 GRM 自身；随后用十余个教师模型做多教师 OPD 合并进单一学生：
|
||||
|
||||
$$\mathcal{L}_{\text{OPD}}(\theta)=\sum_{i=1}^{N}w_i\cdot \mathrm{D}_{\text{KL}}\!\left(\pi_\theta\parallel\pi_{E_i}\right)$$
|
||||
|
||||
与以往把全词表 KL 简化为逐 token 估计不同，此处保留完整 logit 分布以降低梯度方差。基础设施还包括作用于 MoE 专家权重与 CSA 索引器 QK 路径的 FP4 量化感知训练（top-k 选择器加速 2×，保留 99.7% KV 召回）。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
表 6：DeepSeek-V4-Pro-Max 与闭源/开源模型对比（节选，分数保留原始精度）。
|
||||
|
||||
| 基准 / 任务 | DeepSeek-V4-Pro-Max | 对比对象（Opus-4.6 / GPT-5.4 / Gemini-3.1-Pro） | 说明 |
|
||||
|---|---|---|---|
|
||||
| SimpleQA-Verified (Pass@1) | 57.9 | 46.2 / 45.3 / 75.6 | 大幅领先开源模型（K2.6 36.9、GLM-5.1 38.1），领先约 20 个百分点 |
|
||||
| Chinese-SimpleQA (Pass@1) | 84.4 | 76.4 / 76.8 / 85.9 | 接近 Gemini-3.1-Pro，优于全部开源模型 |
|
||||
| MMLU-Pro (EM) | 87.5 | 89.1 / 87.5 / 91.0 | 与 GPT-5.4 持平，略优于 Kimi 与 GLM |
|
||||
| GPQA Diamond (Pass@1) | 90.1 | 91.3 / 93.0 / 94.3 | 小幅领先开源对手，落后前沿闭源模型 |
|
||||
| HLE (Pass@1) | 37.7 | 40.0 / 39.8 / 44.4 | 领先开源模型，落后闭源前沿 |
|
||||
| LiveCodeBench (Pass@1) | 93.5 | 88.8 / – / 91.7 | 全部对比模型中最高 |
|
||||
| Codeforces (Rating) | 3206 | – / 3168 / 3052 | 超过 GPT-5.4 与 Gemini-3.1-Pro，人类榜第 23 名 |
|
||||
| HMMT 2026 Feb (Pass@1) | 95.2 | 96.2 / 97.7 / 94.7 | 落后 GPT-5.4 |
|
||||
| IMOAnswerBench (Pass@1) | 89.8 | 75.3 / 91.4 / 81.0 | 优于除 GPT-5.4 外的全部模型 |
|
||||
| Apex (Pass@1) | 38.3 | 34.5 / 54.1 / 60.9 | 优于 Opus-4.6，落后 GPT-5.4 与 Gemini |
|
||||
| Apex Shortlist (Pass@1) | 90.2 | 85.9 / 78.1 / 89.1 | 全部对比模型中最高 |
|
||||
| MRCR 1M (MMR) | 83.5 | 92.9 / – / 76.3 | 优于 Gemini-3.1-Pro，落后 Claude Opus 4.6 |
|
||||
| CorpusQA 1M (ACC) | 62.0 | 71.7 / – / 53.8 | 优于 Gemini-3.1-Pro |
|
||||
| Terminal Bench 2.0 (Acc) | 67.9 | 65.4 / 75.1 / 68.5 | Verified 子集约 72.0 |
|
||||
| SWE Verified (Resolved) | 80.6 | 80.8 / – / 80.6 | 与 Gemini-3.1-Pro、K2.6 基本同级 |
|
||||
| SWE Pro (Resolved) | 55.4 | 57.3 / 57.7 / 54.2 | 落后 K2.6（58.6）与 GLM-5.1（58.4） |
|
||||
| BrowseComp (Pass@1) | 83.4 | 83.7 / 82.7 / 85.9 | 与开源对手同级 |
|
||||
| HLE w/ tools (Pass@1) | 48.2 | 53.1 / 52.0 / 51.6 | 落后闭源模型与 K2.6（54.0） |
|
||||
| GDPval-AA (Elo) | 1554 | 1619 / 1674 / 1314 | 高于 Gemini-3.1-Pro，低于 Opus/GPT |
|
||||
| MCPAtlas Public (Pass@1) | 73.6 | 73.8 / 67.2 / 69.2 | 与 Opus-4.6 基本持平 |
|
||||
| Toolathlon (Pass@1) | 51.8 | 47.2 / 54.6 / 48.8 | 优于 Opus-4.6 与 Gemini-3.1-Pro |
|
||||
|
||||
基座模型（表 1 节选）：DeepSeek-V4-Flash-Base 以 13B 激活 / 284B 总参数即在多数基准上超过 37B 激活 / 671B 总参数的 DeepSeek-V3.2-Base；DeepSeek-V4-Pro-Base 进一步提升，MMLU-Pro 73.5、Simple-QA verified 55.2、FACTS Parametric 62.6、MultiLoKo 51.1、LongBench-V2 51.5、HumanEval 76.8，对应 V3.2-Base 为 65.5、28.3、27.1、38.7、40.2、62.8。
|
||||
|
||||
效率上 1M 上下文下 Pro 只需 V3.2 的 27% FLOPs 与 10% KV cache，Flash 为 10% 与 7%。真实任务中中文功能写作总体胜率 62.7% vs 34.1%，创意写作指令遵循 60.0%、写作质量 77.5%，但最高难度提示上 Claude Opus 4.5 以 52.0% vs 45.9% 占优；中文白领任务对 Opus-4.6-Max 非劣势率 63%；内部研发编码基准通过率 67%（Sonnet 4.5 为 47%，Opus 4.5 为 70/73，Opus 4.6 为 80）。总体而言 Pro-Max 在代码、数学与长上下文检索上达到开源 SOTA，但在 GPQA、HLE、Apex 系列、Terminal Bench 2.0 与 GDPval-AA 上仍落后于闭源前沿，作者自评推理约落后最先进前沿模型 3~6 个月。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeek-V4 系列以 CSA 与 HCA 混合注意力实现长序列效率跃升，配合基础设施优化原生高效支持百万 token 上下文，为测试时扩展、长程任务与在线学习奠定基础。Pro-Max 重新定义了开放模型的最先进水平：知识大幅领先开源模型、推理接近前沿闭源模型、Agent 能力具备竞争力。
|
||||
- **局限性**：作者自述，为追求极致长上下文效率采用大胆架构，同时为降低风险保留大量已初步验证的组件与技巧，使架构相对复杂，未来将精简到最本质的设计；Anticipatory Routing 与 SwiGLU Clamping 虽能缓解训练不稳定，底层原理仍未被充分理解。评测还显示其指令遵循偶有忽略格式约束、略逊于 Opus。
|
||||
- **影响**：百万 token 级常规上下文降低了长程 Agent 与超长推理的工程门槛，使测试时扩展的边际收益重新可期；MegaMoE、TileLang 与确定性算子库对 MoE 训练的通信-计算重叠、算子开发效率与可复现性有直接参考价值。作者还提出按计算-通信比 $2d$ 设计互联带宽、为全并发负载预留功耗余量、用无指数/除法的轻量激活替换 SwiGLU 等硬件方向。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Compressed Sparse Attention (CSA) | 压缩稀疏注意力 |
|
||||
| Heavily Compressed Attention (HCA) | 重压缩注意力 |
|
||||
| Manifold-Constrained Hyper-Connections (mHC) | 流形约束超连接 |
|
||||
| Hyper-Connections (HC) | 超连接 |
|
||||
| Birkhoff polytope / doubly stochastic matrix | Birkhoff 多面体 / 双随机矩阵 |
|
||||
| Sinkhorn-Knopp algorithm | Sinkhorn-Knopp 算法 |
|
||||
| DeepSeek Sparse Attention (DSA) | DeepSeek 稀疏注意力 |
|
||||
| Lightning Indexer | 闪电索引器 |
|
||||
| Shared Key-Value MQA | 共享键值多查询注意力 |
|
||||
| Grouped Output Projection | 分组输出投影 |
|
||||
| Sliding Window Attention (SWA) | 滑动窗口注意力 |
|
||||
| Attention Sink | 注意力汇聚点（attention sink） |
|
||||
| Partial Rotary Positional Embedding | 部分旋转位置编码 |
|
||||
| Muon Optimizer / Newton-Schulz iteration | Muon 优化器 / Newton-Schulz 迭代 |
|
||||
| Expert Parallelism (EP) / MegaMoE | 专家并行 / MegaMoE 融合大核 |
|
||||
| Mixture-of-Experts (MoE) / DeepSeekMoE | 混合专家 / DeepSeekMoE |
|
||||
| Multi-Token Prediction (MTP) | 多 token 预测 |
|
||||
| On-Policy Distillation (OPD) | 同策略蒸馏 |
|
||||
| Generative Reward Model (GRM) | 生成式奖励模型 |
|
||||
| Quantization-Aware Training (QAT) | 量化感知训练 |
|
||||
| Batch Invariance / Bitwise Reproducibility | 批次不变性 / 位级可复现性 |
|
||||
| Contextual Parallelism (CP) | 上下文并行 |
|
||||
| Anticipatory Routing / SwiGLU Clamping | 预判式路由 / SwiGLU 钳制 |
|
||||
Binary file not shown.
@@ -0,0 +1,137 @@
|
||||
# DeepSeek-V4.1-Flash：把 KV 缓存压缩推向极限
|
||||
|
||||
> **原文标题**：DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
|
||||
> **arXiv**：[2609.19969](https://arxiv.org/abs/2609.19969) ｜ **发布**：17 Sep 2026
|
||||
> **作者/机构**：DeepSeek-AI 团队（第一作者 Anyi Xu 等；DeepSeek 深度求索）
|
||||
> **原文 PDF**：[07-DeepSeek-V4.1-Flash-2609.19969.pdf](./07-DeepSeek-V4.1-Flash-2609.19969.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
长时程（long-horizon）智能体的广泛采用，使模型工作负载日益呈现「输入密集」（input-heavy）的特征。尽管已有工作大幅降低了长上下文计算的开销，预填充（prefill）的计算成本依然高昂，庞大的 KV 缓存也持续给 HBM 与 SSD 容量以及数据传输带宽造成压力。这些算力、存储与带宽需求共同构成了进一步降低部署成本的主要瓶颈。为应对这一挑战，我们提出 DeepSeek-V4.1-Flash，一个多模态混合专家（Mixture-of-Experts, MoE）模型，主干参数为 552B，支持最长一百万 token 的上下文。借助其因果编码器-解码器（Causal Encoder-Decoder, CED）架构，该模型在解码（decode）阶段每个 token 激活 16B 参数，而在预填充阶段仅激活 8B 参数，显著提升了智能体工作负载的成本效率。
|
||||
|
||||
为把 KV 缓存压缩推向极限，DeepSeek-V4.1-Flash 将压缩稀疏注意力 2（Compressed Sparse Attention 2, CSA2）中的跨层 KV 缓存复用与 FP4 KV 缓存结合起来。这些设计把其全局 KV 缓存占用（始终位于 HBM）降至每 token 890 字节，约为 DeepSeek-V4-Flash 对应占用的 1/4。此外，通过一项名为「SWA 有界重放」（SWA Bounded Replay）的专门部署优化，DeepSeek-V4.1-Flash 把其持久化 KV 缓存占用（始终位于 SSD 或主机内存）降至 DeepSeek-V4-Flash 的大约 1/8。尽管 KV 缓存占用小得多，该模型的性能却显著优于基线。
|
||||
|
||||
此外，我们精简了 DeepSeek-V4 的架构，并引入了若干高效的架构扩展。我们在包含 45T token 的多模态语料上预训练 DeepSeek-V4.1-Flash，并开展了全面的后训练，从而在多样化的纯文本与多模态智能体场景中取得强劲性能。模型权重已在 https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash 发布。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **CED 架构把预填充算力砍半**：解码器全局 KV 改由编码器末层隐状态投影得到，预填充只算一半层数，每 token 仅激活 8B 参数（解码 16B），复杂度由 $\mathcal{O}(NL)$ 降至约 $\mathcal{O}(NL/2)$。
|
||||
2. **CSA2 沿三个乘性维度压缩 KV**：条目（GQA/MLA）、序列（每 $m$ 个 token 压成一条）与层（跨层共享主 KV 与 indexer K、复用 Top-K 索引）联合优化，全局 KV 压至每 token 890 字节，约 V4-Flash 的 1/4。
|
||||
3. **层级稀疏索引器**：首个 Full 层按块选出候选池（2048 块 × 8 位置），后续 Reindex 层只在池内打分，每查询索引代价不再随上下文增长。
|
||||
4. **FP4 主 KV 缓存**：把量化感知训练（QAT）扩展到主 KV，采用 MXFP4（E2M1 加每 16 通道一个 E4M3 缩放，省去 NVFP4 的二级全局缩放），主 KV 存储几乎减半而精度几乎无损。
|
||||
5. **SWA Bounded Replay**：以只重放最近 $n_{\mathrm{win}}$ 个 token 的近似重建取代 $L\times n_{\mathrm{win}}$ 的精确重放，从而把 SWA KV 从持久化缓存中彻底移除，持久化 KV 占用降至 V4-Flash 的约 1/8。
|
||||
6. **后训练收益来自数据与环境工程**：范式仍是 SFT → RL → 同策略蒸馏（OPD），改进集中于任务合成、环境构建与可控推理力度，使小体量模型在多项智能体基准上追平或超过闭源前沿。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 总体架构与关键配置
|
||||
|
||||
40 层多模态 MoE Transformer（20 层编码器 + 20 层解码器），隐藏维 5120，552B 主干参数加 196B Engram 参数；前两层纯滑动窗口注意力（SWA），其余层兼有全局与 SWA 分支。18 个编码器层用 CSA2（$m=2$）、20 个解码器层用 CSA2（$m=1$），每 4–6 层一组，组内首层取 Full 或 Reindex、其余 Reuse；索引器 32 头、top-k 512，$n_{\mathrm{win}}=128$。
|
||||
|
||||
### 3.2 因果编码器-解码器（CED）
|
||||
|
||||
CED 针对智能体频繁工具调用造成的预填充瓶颈（受 YOCO 启发）：底部 $L/2$ 层作因果编码器，解码器（$l>L/2$）的 KV 条目与压缩权重改由编码器末层隐状态 $H_{L/2}$ 逐层投影得到，
|
||||
|
||||
$$C_l=H_{L/2}W_l^{KV},\qquad Z_l=H_{L/2}W_l^{Z}$$
|
||||
|
||||
故预填充只需算前一半层。SWA 仍逐层计算以保持局部表示深度，代价是解码器 SWA KV 需额外处理 $n_{\mathrm{win}}\times L/2$ 个 token——这引出解码器有界重放；与 CSA2 结合时，解码器 Full 模式层直接由 $H_{L/2}$ 计算全局 KV。
|
||||
|
||||
### 3.3 CSA2：跨层 KV 与索引复用
|
||||
|
||||
已有工作各只覆盖部分维度：IndexCache 只复用索引、YOIO 全网络共享路由限制性能、HySparse 仍保留完整注意力层。CSA2 把复用解耦为三种静态模式，三者都保留自己的全局 Q 与 SWA KV：**Full** 计算主 KV 与 indexer Q、由主 KV 投影出 indexer K 并产出全新 Top-K；**Reindex** 复用前层主 KV 与 indexer K，但用自己的 indexer Q 重新打分，缓存共享不变而稀疏选择可随层变化；**Reuse** 复用主 KV 及其最新 Top-K 直接做稀疏注意力，不算 indexer Q。CSA2 另去掉了 CSA 中重叠的 $2m$ 个源条目与绝对位置嵌入。
|
||||
|
||||
### 3.4 层级稀疏索引器
|
||||
|
||||
跨层复用减少了索引器调用，但剩余 indexer 仍要扫描全部因果可见位置。首个 Full 层对全范围打分并做块级候选选择（每块取位置中的最大索引分数），把被选块覆盖的位置汇成大于最终 Top-K 的候选池（2048 块 × 8 位置 = 16384 个位置）；后续 Reindex 层只在池内打分并各选 Top-K。于是候选池共享而各层选择可不同，每查询打分位置数与上下文长度无关（首个 Full 层仍全范围扫描），且该限制训练与推理一致。
|
||||
|
||||
### 3.5 高效架构扩展
|
||||
|
||||
**Single-Pass m HC**：m HC 在相邻块间维持 $n$ 条残差流；V4 的三内核实现因数据依赖串行，激活访存达 $(4n+4)d$，而理想下界为 $(2n+2)d$。Single-Pass 把输入混合系数后移一个块，
|
||||
|
||||
$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_{l-1}X_l)$$
|
||||
|
||||
使输入混合不再依赖由 $X_l$ 算出的系数，分块可立即同时用于输入混合与系数预测，达到 $(2n+2)d$ 的理想访存而实测损失可忽略；部署侧融合内核 Mega-m HC 把激活访存减半。**Engram**：沿用 tokenizer 压缩、多头哈希与门控集成，去掉短因果卷积，196B 参数均分两模块（$N$-gram 阶 $\{2,3,4\}$、8 哈希头、FP8），置于第 1、14 层，推理时经 RDMA 从主机内存预取。**DSpark**：3 个窗口 128 的块一次前向并行产出 5 个草稿位置 logits，Markov 头建模草稿间依赖、置信头估计前缀存活概率以选取验证长度；它预训练后单独训练，后训练同训但梯度不回传主干。
|
||||
|
||||
### 3.6 FP4 主 KV 缓存
|
||||
|
||||
V4 已对 indexer 的 Q/K 使用 FP4 的 QAT；V4.1 把 QAT 扩展到主 KV，此时 FP4 只省存储（注意力前先反量化，故不需硬件原生支持该格式的矩阵乘）。格式选 E2M1 加每 16 通道一个 E4M3 缩放因子（仿 NVFP4 但省去二级全局缩放）：它可表示到 $448\times6=2688$，而训练中最大幅度约 10，动态范围充裕。量化置于 RoPE 之后；SWA KV 因对量化敏感仍保留 FP8。相比 V4 的 FP8 主 KV，存储几乎减半。
|
||||
|
||||
### 3.7 优化器与训练配置
|
||||
|
||||
优化器分工：线性变换用 Muon（动量 0.95、更新矩阵 RMS 重标定为 0.18），RMSNorm 等非矩阵参数用 AdamW，嵌入与预测头用 Sinkhorn 均衡更新。两处新改动：**逐头 Muon** 把 Query 权重按头切分后再施加 Muon，以不同预条件子契合头间异质性，实测优于原始 Muon；**Sinkhorn 均衡更新** 因 Engram 参数用 Adam 会带来巨大优化器状态开销，改用只保留动量缓冲的动量加 Sinkhorn：取 Nesterov 动量、遮蔽近零行后交替对行与列做 $\ell_2$ 归一化得 $\Delta_t=\sqrt{n}\,D_r\widehat{G}_tD_c$，近似拉平更新矩阵的行、列 RMS，并以 $\gamma=0.18$ 匹配 Adam 的更新幅度。训练用 45T token 多模态语料、批量 100.6M token，以 64K 从零训练稀疏注意力，34T token 时扩至 1M。
|
||||
|
||||
### 3.8 推理系统与部署策略
|
||||
|
||||
内核融合使绝大多数层（CSA2 处于 Reuse 模式者）预填充只需 15 个内核、解码 11 个；部署采用编码-预填充-解码分离。压缩的另一半来自持久化 KV 管理：V4 中 SWA KV 占近一半容量，却只在活跃会话的分钟级窗口被复用、会话结束即失效，故 V4.1 把它移出持久化缓存，改存于每台机器 10% 主机 DRAM 构成的内存池（TTL 仅数分钟），全局 KV 仍保证至少 72 小时存活。未命中由两条有界重放兜底：**编码器侧**只重放缓存前缀最后 $n_{\mathrm{win}}$ 个 token 并与未缓存后缀合并处理，重放段只重建 SWA KV、复用已有全局 KV，使前缀缓存只依赖全局 KV；**解码器侧**只重放 prompt 最后 $n_{\mathrm{win}}$ 个 token，把其编码器输出在同样的 SWA 截断下送入解码器层，所得 SWA KV 只用于解码。重建仅为近似，但论文称质量影响可忽略。
|
||||
|
||||
### 3.9 后训练：数据与环境驱动
|
||||
|
||||
后训练仍是 SFT → RL → OPD 且无算法改动，收益来自数据与环境：任务形式化为（问题、环境、验证系统）三元组；环境侧，通用智能体由伙伴回传的交互数据构建模拟工具，编码智能体取自内部编码会话与达星标公开仓库。RL 在算力与 scaffold 两维扩展；异步 rollout 与训练共置、按样本级派发维持并发；末段为多域全词表 OPD，用 40 多个可与学生异构的教师。可控推理力度方面，系统提示前插入 `Reasoning Effort: {effort}`（$b\in\{1,\dots,100\}$），同 $(x,b)$ 子组内做奖励均值中心化，长度惩罚
|
||||
|
||||
$$r_{b,j}^{\mathrm{len}}=-\min\left\{C_{\max},\;k(b)\frac{\ell_{b,j}}{L_{\mathrm{norm}}}\right\},\qquad k(b)=k_{0}\exp\left(-\frac{b-b_{\min}}{\tau}\right)$$
|
||||
|
||||
随请求力度指数衰减；公开 API 映射为 max=100、high=75、low=50 三档。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| 全局 KV 缓存 / token | 890 字节 | DeepSeek-V4-Flash 约 4×；DeepSeek-V1 约 437× | 恒在 HBM；约为 V4-Flash 的 1/4 |
|
||||
| 持久化 KV 缓存 | 约为 V4-Flash 的 1/8 | DeepSeek-V4-Flash | 经 SWA Bounded Replay；含「不再存 SWA KV」与「全局 KV 压到 1/4」两个乘性因子 |
|
||||
| 单 token 解码 FLOPs | 4K→1M 上下文仅增约 1/4 | DeepSeek-V4-Flash 增长明显更多 | 精度按 BF16/FP8/FP4 权重 1 / 0.5 / 0.25 折算 |
|
||||
| MMLU-Pro (EM, 5-shot, Base) | 74.1 | V4-Pro 73.5；V4-Flash 68.3 | 参数仅 1/3、激活仅 1/4 |
|
||||
| SimpleQA-Verified (EM, Base) | 42.3 | V4-Pro 55.2；V4-Flash 30.1 | 世界知识仍落后 1.6T 的 V4-Pro |
|
||||
| HumanEval (Pass@1, Base) | 79.4 | V4-Pro 76.8；V4-Flash 69.5 | |
|
||||
| 多模态 Base（MMMU-Pro / DocVQA / CVBench / RefCOCO-avg） | 56.5 / 95.6 / 77.9 / 86.0 | 前代无对应成绩 | 原生多模态首次进入该系列 |
|
||||
| GPQA Diamond (Pass@1) | 90.9 | Opus-5 93.4；GPT-5.6 Sol 94.1；K3 92.9；V4-Pro 92.4；V4-Flash 89.9 | 高于前代，仍低于闭源前沿 |
|
||||
| HLE (Pass@1) | 36.8（纯文本 39.1） | Opus-5 56.3；GPT-5.6 Sol 44.5；K3 43.5 | 明显差距项 |
|
||||
| Codeforces (Rating) | 3471 | V4-Pro 3348；V4-Flash 3289 | 超过两代前作 |
|
||||
| MathArena Apex (Pass@1) | 65.6 | K3 65.6；V4-Pro 65.3；V4-Flash 58.6 | 与最强开源基线持平 |
|
||||
| Terminal-Bench 2.1 (Pass@1) | 90.6 | Opus-5 89.1；GPT-5.6 Sol 88.8；K3 88.3；GLM-5.3 88.2；V4-Flash 82.7 | 该基准第一 |
|
||||
| Terminal-Bench 3.0 (Pass@1) | 30.0 | Opus-5 43.3；GPT-5.6 Sol 34.4；V4-Pro 11.8；V4-Flash 7.6 | 大幅超越前代，仍落后闭源 |
|
||||
| Terminal-Bench 4.0 (Pass@1) | 31.2 | Opus-5 51.8；GPT-5.6 Sol 39.9 | 专家级科学向智能体任务存在差距 |
|
||||
| DeepSWE v1.1 (Resolved) | 74.2 | Opus-5 74.0；GPT-5.6 Sol 73.0；K3 67.5；V4-Pro 62.7；V4-Flash 54.4 | 超过全部对比对象 |
|
||||
| ProgramBench (Almost@1) | 20.3 | Opus-5 37.0；GPT-5.6 Sol 23.0 | V4-Flash 未报告 |
|
||||
| NL2Repo-Bench (Score) | 65.4 | Opus-5 75.3；V4-Pro 61.5 | |
|
||||
| CyberGym (Pass@1) | 88.1 | GPT-5.6 Sol 84.5；GLM-5.3 84.5；V4-Pro 83.3 | 开源模型中新的 SOTA |
|
||||
| SEC-Bench Pro (Pass@1) | 62.8 | GPT-5.6 Sol 74.3；V4-Pro 56.4；V4-Flash 30.9 | |
|
||||
| ExploitGym (Pass@1) | 15.3 | GPT-5.6 Sol 33.7；Opus-5 22.1 | 前代为 1.8 |
|
||||
| HLE w/ tools (Pass@1) | 63.9 | Opus-5 63.6；GLM-5.3 62.5；V4-Pro 60.0 | 工具调用版反超 Opus-5 |
|
||||
| Automation-Bench (Pass@1) | 54.8 | Opus-5 50.3；GLM-5.3 48.8 | 通用智能体第一 |
|
||||
| Agents' Last Exam (Pass@1) | 31.8 | Opus-5 28.6；GLM-5.3 28.5 | 通用智能体第一 |
|
||||
| Chartography w/ tools (Pass@1) | 78.9 | Opus-5 84.0；GPT-5.6 Sol 79.9；K3 68.1 | 视觉智能体：超开源、落后闭源 |
|
||||
| BabyVision w/ tools (Pass@1) | 89.6 | Opus-5 94.1；GPT-5.6 Sol 88.9；K3 85.7 | |
|
||||
| ZeroBench-main w/ tools (Pass@5) | 49.0 | GPT-5.6 Sol 53.0；Opus-5 52.0；K3 41.0 | |
|
||||
| 推理力度 25→100（8 项推理基准均值 Pass@1） | 67.1 → 76.3 | 输出 token 约 2.5× | 60–80 档已拿到接近满档精度、token 不到一半 |
|
||||
| 推理力度 25→100（DeepSWE v1.1 / TB 2.1） | 66.0 → 74.2 / 82.4 → 90.6 | 末段到 100 使轨迹变长 1.6–1.8× | 收益前重后轻 |
|
||||
| 跨 scaffold 稳健性（8 种配置，DeepSWE v1.1） | 65.5 – 74.2 | Claude Code / Codex / OpenCode / Pi / mini-SWE / DSH（Minimal、Standard、PTC） | TB 2.1 为 84.1 – 90.6 |
|
||||
| 多智能体（ProgramBench Almost@1） | 1h 13.59% → 8h 峰值 30.04% | 单智能体 12.79% → 20.39% | 每个时限点多智能体均领先 |
|
||||
| 多智能体（FrontierSWE v2 Mean@5） | 1h 13.50% → 20h 32.90% | 单智能体 10.50% → 28.20% | 结果为初步实验 |
|
||||
|
||||
基座上，模型用 1/3 总参数与 1/4 激活参数即达到 V4-Pro-Base 相当的世界知识、推理与编码水平，留出评测提升 5%–10%（内部语料 BPB 全部最低），但 SimpleQA-Verified（42.3 对 55.2）与 LongBench-V2（45.2 对 51.5）等知识密集与长上下文项仍落后 1.6T 的 V4-Pro。后训练后在 DeepSWE v1.1、Terminal-Bench 2.1、Automation-Bench、Agents' Last Exam、CyberGym 上取得对比最优。差距集中在需要专家级领域知识的科学向任务（Terminal-Bench 4.0 的 31.2 对 51.8）、知识型推理（HLE 36.8 对 56.3）与部分视觉智能体项（Chartography 78.9 对 84.0）。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：联合优化把 KV 缓存推到新极限——全局 KV（恒在 HBM）每 token 890 字节、约 V4-Flash 的 1/4，持久化 KV 降至约 1/8；CED 让预填充每 token 只激活 8B（解码 16B）。体量虽小，性能却显著优于 V4-Flash，并与 GLM-5.3、Kimi-K3 在关键基准上持平或更优。
|
||||
- **局限性**：作者自述新架构存在尚未完全刻画的鲁棒性边界；CSA2 的索引选择错误与 SWA Bounded Replay 的近似状态重建，仍可能在未覆盖的边界情形下造成能力退化。作者亦指出基准日趋饱和，分数接近不代表在复杂高难推理上追平闭源前沿。
|
||||
- **影响**：缓解 HBM 与 SSD 容量及带宽压力，降低长时程智能体的部署成本；「用少量预填充重算换掉持久化 SWA 存储」确立了新的存储–计算权衡；后训练的经验信号是，在优化流程固定时，数据与环境管线在规模、多样性与可验证性上的提升几乎贡献了全部收益。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| KV Cache | 键值缓存 |
|
||||
| Prefill / Decode | 预填充 / 解码 |
|
||||
| Causal Encoder-Decoder (CED) | 因果编码器-解码器 |
|
||||
| Compressed Sparse Attention 2 (CSA2) | 压缩稀疏注意力 2 |
|
||||
| Sliding-Window Attention (SWA) | 滑动窗口注意力 |
|
||||
| SWA Bounded Replay | SWA 有界重放 |
|
||||
| Hierarchical Sparse Indexer | 层级稀疏索引器 |
|
||||
| Persistent KV Cache | 持久化 KV 缓存 |
|
||||
| Quantization-Aware Training (QAT) | 量化感知训练（主 KV 采用 MXFP4 格式） |
|
||||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||||
| m HC | 多残差流混合 |
|
||||
| Engram | 条件记忆模块（Engram） |
|
||||
| DSpark | 半自回归投机解码模块（DSpark） |
|
||||
| On-Policy Distillation (OPD) | 同策略蒸馏 |
|
||||
| Reasoning Effort | 推理力度 |
|
||||
Binary file not shown.
Reference in New Issue
Block a user