133 lines
15 KiB
Markdown
133 lines
15 KiB
Markdown
# DeepSeek-V4：迈向高效百万 Token 上下文智能
|
||
|
||
> **原文标题**：DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
|
||
> **arXiv**：[2606.19348](https://arxiv.org/abs/2606.19348) ｜ **发布**：26 Apr 2026
|
||
> **作者/机构**：DeepSeek-AI（DeepSeek 深度求索）
|
||
> **原文 PDF**：[06-DeepSeek-V4-2606.19348.pdf](./06-DeepSeek-V4-2606.19348.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
我们提出 DeepSeek-V4 系列的预览版本，包含两个强大的混合专家（Mixture-of-Experts, MoE）语言模型——拥有 1.6T 参数（激活 49B）的 DeepSeek-V4-Pro 与拥有 284B 参数（激活 13B）的 DeepSeek-V4-Flash——两者均支持一百万 token 的上下文长度。DeepSeek-V4 系列在架构与优化方面引入了若干关键升级：(1) 一种混合注意力架构，将压缩稀疏注意力（Compressed Sparse Attention, CSA）与重压缩注意力（Heavily Compressed Attention, HCA）结合，以提升长上下文效率；(2) 流形约束超连接（Manifold-Constrained Hyper-Connections, mHC），用于增强传统残差连接；(3) 以及 Muon 优化器，以实现更快的收敛与更高的训练稳定性。我们在超过 32T 多样化且高质量的 token 上预训练这两个模型，随后通过一套完整的后训练流水线释放并进一步增强其能力。DeepSeek-V4-Pro-Max，即 DeepSeek-V4-Pro 的最大推理强度模式，重新定义了开放模型的最先进水平，在核心任务上超越了它的前代模型。同时，DeepSeek-V4 系列在长上下文场景中极为高效。在一百万 token 的上下文设定下，DeepSeek-V4-Pro 仅需 DeepSeek-V3.2 的 27% 单 token 推理 FLOPs 和 10% 的 KV cache。这使我们能够常规性地支持一百万 token 上下文，从而使长程任务与进一步的测试时扩展变得更为可行。模型检查点可在 https://huggingface.co/collections/deepseek-ai/deepseek-v4 获取。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **CSA + HCA 混合注意力**：把 KV cache 沿序列维压缩 $1/m$（CSA，$m=4$，再叠加稀疏选择）与 $1/m'$（HCA，$m'=128$，保留稠密注意力）并交错堆叠，破解注意力二次复杂度瓶颈；1M 上下文下 Pro 的单 token FLOPs 与 KV cache 仅为 V3.2 的 27% 与 10%。
|
||
2. **流形约束超连接（mHC）**：把残差映射矩阵约束在双随机矩阵流形上，使谱范数有界、残差变换非扩张，解决朴素超连接多层堆叠的数值不稳定。
|
||
3. **Muon 优化器**：以混合 Newton-Schulz 正交化替换既有实现，并解决其与 ZeRO 的冲突，带来更快收敛与更好稳定性。
|
||
4. **系统与工程**：细粒度专家并行通信-计算重叠（最高 1.96×）、TileLang 融合算子、批次不变且位级确定性的算子库、异构 KV cache 与磁盘缓存。
|
||
5. **两阶段后训练**：领域专家独立培养后用多教师全词表同策略蒸馏合并，并配套 FP4 量化感知训练。
|
||
6. **结果**：Pro-Max 在 SimpleQA-Verified 上领先开源模型约 20 个百分点，LiveCodeBench 93.5 与 Codeforces 3206 均为对比最高。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 继承自 DeepSeek-V3 的设计
|
||
|
||
前馈层沿用 DeepSeekMoE（细粒度路由专家 + 共享专家），但把亲和度分数的激活函数由 $\operatorname{Sigmoid}(\cdot)$ 改为 $\operatorname{Sqrt}(\operatorname{Softplus}(\cdot))$；负载均衡沿用无辅助损失的偏置策略并补充极小的序列级平衡损失，取消了对路由目标节点数的限制。最初若干 Transformer 块的稠密 FFN 改为哈希路由（Hash routing）的 MoE 层，按 token ID 经哈希函数直接决定专家。多 token 预测（MTP）模块与 V3 一致，深度为 1。
|
||
|
||
### 3.2 流形约束超连接（mHC）
|
||
|
||
标准超连接（HC）把残差流宽度扩大 $n_{\text{hc}}$ 倍，引入输入映射 $A_l$、残差变换 $B_l$、输出映射 $C_l$：
|
||
|
||
$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_lX_l)$$
|
||
|
||
它把残差宽度与隐藏维度解耦，提供开销很小的额外扩展轴（$n_{\text{hc}}\ll d$），但多层堆叠时训练频繁数值不稳定。mHC 的核心是把 $B_l$ 约束到双随机矩阵（Birkhoff 多面体）流形：
|
||
|
||
$$B_l\in\mathcal{M}\coloneq\{M\in\mathbb{R}^{n\times n}\mid M\mathbf{1}_n=\mathbf{1}_n,\ \mathbf{1}_n^{T}M=\mathbf{1}_n^{T},\ M\geqslant 0\}$$
|
||
|
||
该约束保证 $\|B_l\|_2\le 1$、残差变换非扩张，且 $\mathcal{M}$ 对乘法封闭，故深层堆叠仍稳定；$A_l$、$C_l$ 另用 Sigmoid 约束为非负有界以避免信号抵消。三个映射的参数动态生成（输入相关项 + 静态偏置 + 小初始化门控因子），投影到流形用 Sinkhorn-Knopp 迭代（先 $\exp$ 保证正性，再反复行列归一化，$t_{\max}=20$）。
|
||
|
||
### 3.3 CSA 与 HCA 混合注意力
|
||
|
||
极长上下文下注意力成为主导瓶颈，故设计两种高效注意力并交错使用。
|
||
|
||
**CSA（压缩稀疏注意力）** 先把每 $m$ 个 token 的 KV 压缩为一个条目，再施加 DeepSeek 稀疏注意力（DSA），每个 query 只关注 $k$ 个压缩条目。压缩时并行计算两组 KV 条目与压缩权重，对 $2m$ 个元素做行 softmax 后加权求和，两组索引区间重叠使压缩率恰为 $1/m$。稀疏选择由闪电索引器完成：query 经低秩投影得到索引器 query，索引分数 $I_{t,s}=\sum_{h=1}^{n_h^I}w_{t,h}^I\cdot\text{ReLU}(\mathbf{q}_{t,h}^I\cdot K_s^{\text{IComp}})$，取 top-k 得候选集。核心注意力以多查询注意力（MQA）进行，压缩条目兼作 key 与 value，且压缩隐向量与索引器共享；因 $cn_h$ 很大，采用分组输出投影（先降到中间维度 $d_g$ 再拼接投影回 $d$ 维）。
|
||
|
||
**HCA（重压缩注意力）** 用更大的压缩率 $m'(\gg m)$ 且不做重叠压缩，保留稠密注意力，其余与 CSA 相同：CSA 侧重保精度，HCA 侧重省算力与显存。
|
||
|
||
其余细节：核心注意力前对 query 与压缩 KV 条目施加 RMSNorm 以防 logits 爆炸；对 query、KV 条目与输出的最后 64 维施加部分 RoPE，并对输出以位置 $-i$ 再施加一次；因 query 看不到自身压缩块内的信息，另设滑窗分支补充 $n_{\text{win}}$ 个未压缩 KV 条目建模局部依赖。效率上 KV 条目混合存储（RoPE 维 BF16、其余 FP8）使 cache 近半减，索引器内注意力用 FP4 计算；1M 上下文下 KV cache 可降至 BF16 GQA8 基线的约 2%。
|
||
|
||
### 3.4 Muon 优化器
|
||
|
||
Muon 用于绝大多数模块，embedding、预测头、mHC 的静态偏置与门控因子、所有 RMSNorm 权重仍用 AdamW。算法沿用权重衰减、Nesterov 技巧与 RMS 重缩放以复用 AdamW 超参，不同之处是采用混合 Newton-Schulz 迭代做正交化：共 10 次迭代，前 8 步用 $(a,b,c)=(3.4445,-4.7750,2.0315)$ 快速收敛使奇异值接近 1，后 2 步改用 $(2,-1.5,0.5)$ 把奇异值精确稳定在 1。由于新架构允许直接在 query 与 KV 条目上做 RMSNorm 抑制 logits 爆炸，不再需要 QK-Clip。
|
||
|
||
### 3.5 通用基础设施
|
||
|
||
- **细粒度 EP 重叠**：MoE 层可分解为 Dispatch、Combine 两个通信受限阶段与 Linear-1、Linear-2 两个计算受限阶段，实测通信总时长小于计算。方案把专家切成多个「波」调度，一波通信完成即开始计算，稳态下计算、传输与回传并发；开源大核 MegaMoE 在 GPU 与 NPU 上取得通用推理 1.50~1.73×、延迟敏感场景最高 1.96× 加速。
|
||
- **算子与框架**：TileLang 融合算子替代数百个 ATen 算子，Host Codegen 把 host 侧校验下沉到生成代码，并集成 Z3 做形式化整数分析；为让训练与推理位级可复现，放弃 split-KV 与 split-k，改用双 kernel 解码并对齐累加顺序。Muon 与 ZeRO 的冲突用混合分桶解决；mHC 经融合算子、重计算与 DualPipe 调整把墙钟开销压到流水阶段的 6.7%。推理侧用异构 KV cache（经典 KV cache 每块覆盖 $\mathrm{lcm}(m,m')$ 个原始 token，另设状态 cache 存放滑窗 KV 与未满压缩块尾部 token）与磁盘 KV cache 复用共享前缀。
|
||
|
||
### 3.6 预训练与后训练
|
||
|
||
数据在 V3 基础上更强调长文档（论文、技术报告）、多语言长尾知识与中期训练的 agentic 数据，词表仍为 128K。Flash 与 Pro 分别训练 32T 与 33T token，序列长度由 4K 逐步扩到 16K、64K、1M，先用稠密注意力预热 1T token 再引入稀疏注意力。作者发现 loss spike 与 MoE 层离群值强相关、路由会加剧离群值，据此提出**预判式路由（Anticipatory Routing）**——特征用当前参数计算而路由索引用历史参数计算（靠提前取数并缓存索引，附加墙钟开销约 20%，仅在检测到 spike 时触发短回滚）；以及 **SwiGLU 钳制**——线性分量限制在 $[-10,10]$、门控分量上界取 10。
|
||
|
||
后训练沿用 V3.2 流水线，但用同策略蒸馏（OPD）取代混合 RL：先按领域独立训练专家（SFT + GRPO），难验证的任务放弃标量奖励模型，改为在 rubric 引导下用生成式奖励模型（GRM）评价轨迹并把 RL 施加于 GRM 自身；随后用十余个教师模型做多教师 OPD 合并进单一学生：
|
||
|
||
$$\mathcal{L}_{\text{OPD}}(\theta)=\sum_{i=1}^{N}w_i\cdot \mathrm{D}_{\text{KL}}\!\left(\pi_\theta\parallel\pi_{E_i}\right)$$
|
||
|
||
与以往把全词表 KL 简化为逐 token 估计不同，此处保留完整 logit 分布以降低梯度方差。基础设施还包括作用于 MoE 专家权重与 CSA 索引器 QK 路径的 FP4 量化感知训练（top-k 选择器加速 2×，保留 99.7% KV 召回）。
|
||
|
||
## 四、主要实验结果
|
||
|
||
表 6：DeepSeek-V4-Pro-Max 与闭源/开源模型对比（节选，分数保留原始精度）。
|
||
|
||
| 基准 / 任务 | DeepSeek-V4-Pro-Max | 对比对象（Opus-4.6 / GPT-5.4 / Gemini-3.1-Pro） | 说明 |
|
||
|---|---|---|---|
|
||
| SimpleQA-Verified (Pass@1) | 57.9 | 46.2 / 45.3 / 75.6 | 大幅领先开源模型（K2.6 36.9、GLM-5.1 38.1），领先约 20 个百分点 |
|
||
| Chinese-SimpleQA (Pass@1) | 84.4 | 76.4 / 76.8 / 85.9 | 接近 Gemini-3.1-Pro，优于全部开源模型 |
|
||
| MMLU-Pro (EM) | 87.5 | 89.1 / 87.5 / 91.0 | 与 GPT-5.4 持平，略优于 Kimi 与 GLM |
|
||
| GPQA Diamond (Pass@1) | 90.1 | 91.3 / 93.0 / 94.3 | 小幅领先开源对手，落后前沿闭源模型 |
|
||
| HLE (Pass@1) | 37.7 | 40.0 / 39.8 / 44.4 | 领先开源模型，落后闭源前沿 |
|
||
| LiveCodeBench (Pass@1) | 93.5 | 88.8 / – / 91.7 | 全部对比模型中最高 |
|
||
| Codeforces (Rating) | 3206 | – / 3168 / 3052 | 超过 GPT-5.4 与 Gemini-3.1-Pro，人类榜第 23 名 |
|
||
| HMMT 2026 Feb (Pass@1) | 95.2 | 96.2 / 97.7 / 94.7 | 落后 GPT-5.4 |
|
||
| IMOAnswerBench (Pass@1) | 89.8 | 75.3 / 91.4 / 81.0 | 优于除 GPT-5.4 外的全部模型 |
|
||
| Apex (Pass@1) | 38.3 | 34.5 / 54.1 / 60.9 | 优于 Opus-4.6，落后 GPT-5.4 与 Gemini |
|
||
| Apex Shortlist (Pass@1) | 90.2 | 85.9 / 78.1 / 89.1 | 全部对比模型中最高 |
|
||
| MRCR 1M (MMR) | 83.5 | 92.9 / – / 76.3 | 优于 Gemini-3.1-Pro，落后 Claude Opus 4.6 |
|
||
| CorpusQA 1M (ACC) | 62.0 | 71.7 / – / 53.8 | 优于 Gemini-3.1-Pro |
|
||
| Terminal Bench 2.0 (Acc) | 67.9 | 65.4 / 75.1 / 68.5 | Verified 子集约 72.0 |
|
||
| SWE Verified (Resolved) | 80.6 | 80.8 / – / 80.6 | 与 Gemini-3.1-Pro、K2.6 基本同级 |
|
||
| SWE Pro (Resolved) | 55.4 | 57.3 / 57.7 / 54.2 | 落后 K2.6（58.6）与 GLM-5.1（58.4） |
|
||
| BrowseComp (Pass@1) | 83.4 | 83.7 / 82.7 / 85.9 | 与开源对手同级 |
|
||
| HLE w/ tools (Pass@1) | 48.2 | 53.1 / 52.0 / 51.6 | 落后闭源模型与 K2.6（54.0） |
|
||
| GDPval-AA (Elo) | 1554 | 1619 / 1674 / 1314 | 高于 Gemini-3.1-Pro，低于 Opus/GPT |
|
||
| MCPAtlas Public (Pass@1) | 73.6 | 73.8 / 67.2 / 69.2 | 与 Opus-4.6 基本持平 |
|
||
| Toolathlon (Pass@1) | 51.8 | 47.2 / 54.6 / 48.8 | 优于 Opus-4.6 与 Gemini-3.1-Pro |
|
||
|
||
基座模型（表 1 节选）：DeepSeek-V4-Flash-Base 以 13B 激活 / 284B 总参数即在多数基准上超过 37B 激活 / 671B 总参数的 DeepSeek-V3.2-Base；DeepSeek-V4-Pro-Base 进一步提升，MMLU-Pro 73.5、Simple-QA verified 55.2、FACTS Parametric 62.6、MultiLoKo 51.1、LongBench-V2 51.5、HumanEval 76.8，对应 V3.2-Base 为 65.5、28.3、27.1、38.7、40.2、62.8。
|
||
|
||
效率上 1M 上下文下 Pro 只需 V3.2 的 27% FLOPs 与 10% KV cache，Flash 为 10% 与 7%。真实任务中中文功能写作总体胜率 62.7% vs 34.1%，创意写作指令遵循 60.0%、写作质量 77.5%，但最高难度提示上 Claude Opus 4.5 以 52.0% vs 45.9% 占优；中文白领任务对 Opus-4.6-Max 非劣势率 63%；内部研发编码基准通过率 67%（Sonnet 4.5 为 47%，Opus 4.5 为 70/73，Opus 4.6 为 80）。总体而言 Pro-Max 在代码、数学与长上下文检索上达到开源 SOTA，但在 GPQA、HLE、Apex 系列、Terminal Bench 2.0 与 GDPval-AA 上仍落后于闭源前沿，作者自评推理约落后最先进前沿模型 3~6 个月。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：DeepSeek-V4 系列以 CSA 与 HCA 混合注意力实现长序列效率跃升，配合基础设施优化原生高效支持百万 token 上下文，为测试时扩展、长程任务与在线学习奠定基础。Pro-Max 重新定义了开放模型的最先进水平：知识大幅领先开源模型、推理接近前沿闭源模型、Agent 能力具备竞争力。
|
||
- **局限性**：作者自述，为追求极致长上下文效率采用大胆架构，同时为降低风险保留大量已初步验证的组件与技巧，使架构相对复杂，未来将精简到最本质的设计；Anticipatory Routing 与 SwiGLU Clamping 虽能缓解训练不稳定，底层原理仍未被充分理解。评测还显示其指令遵循偶有忽略格式约束、略逊于 Opus。
|
||
- **影响**：百万 token 级常规上下文降低了长程 Agent 与超长推理的工程门槛，使测试时扩展的边际收益重新可期；MegaMoE、TileLang 与确定性算子库对 MoE 训练的通信-计算重叠、算子开发效率与可复现性有直接参考价值。作者还提出按计算-通信比 $2d$ 设计互联带宽、为全并发负载预留功耗余量、用无指数/除法的轻量激活替换 SwiGLU 等硬件方向。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| Compressed Sparse Attention (CSA) | 压缩稀疏注意力 |
|
||
| Heavily Compressed Attention (HCA) | 重压缩注意力 |
|
||
| Manifold-Constrained Hyper-Connections (mHC) | 流形约束超连接 |
|
||
| Hyper-Connections (HC) | 超连接 |
|
||
| Birkhoff polytope / doubly stochastic matrix | Birkhoff 多面体 / 双随机矩阵 |
|
||
| Sinkhorn-Knopp algorithm | Sinkhorn-Knopp 算法 |
|
||
| DeepSeek Sparse Attention (DSA) | DeepSeek 稀疏注意力 |
|
||
| Lightning Indexer | 闪电索引器 |
|
||
| Shared Key-Value MQA | 共享键值多查询注意力 |
|
||
| Grouped Output Projection | 分组输出投影 |
|
||
| Sliding Window Attention (SWA) | 滑动窗口注意力 |
|
||
| Attention Sink | 注意力汇聚点（attention sink） |
|
||
| Partial Rotary Positional Embedding | 部分旋转位置编码 |
|
||
| Muon Optimizer / Newton-Schulz iteration | Muon 优化器 / Newton-Schulz 迭代 |
|
||
| Expert Parallelism (EP) / MegaMoE | 专家并行 / MegaMoE 融合大核 |
|
||
| Mixture-of-Experts (MoE) / DeepSeekMoE | 混合专家 / DeepSeekMoE |
|
||
| Multi-Token Prediction (MTP) | 多 token 预测 |
|
||
| On-Policy Distillation (OPD) | 同策略蒸馏 |
|
||
| Generative Reward Model (GRM) | 生成式奖励模型 |
|
||
| Quantization-Aware Training (QAT) | 量化感知训练 |
|
||
| Batch Invariance / Bitwise Reproducibility | 批次不变性 / 位级可复现性 |
|
||
| Contextual Parallelism (CP) | 上下文并行 |
|
||
| Anticipatory Routing / SwiGLU Clamping | 预判式路由 / SwiGLU 钳制 |
|