159 lines
16 KiB
Markdown
159 lines
16 KiB
Markdown
# DeepSeek-V3.2：推进开放大语言模型的前沿
|
||
|
||
> **原文标题**：DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models
|
||
> **arXiv**：[2512.02556](https://arxiv.org/abs/2512.02556) ｜ **发布**：2 Dec 2025
|
||
> **作者/机构**：DeepSeek-AI（Aixin Liu、Aoxue Mei、Bangcai Lin、Bing Xue 等，完整作者列表见附录 E）；DeepSeek（深度求索）
|
||
> **原文 PDF**：[05-DeepSeek-V3.2-2512.02556.pdf](./05-DeepSeek-V3.2-2512.02556.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
我们提出 DeepSeek-V3.2，一个将高计算效率与卓越推理能力和智能体（agent）表现统一起来的模型。DeepSeek-V3.2 的关键技术突破如下：（1）DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA）：我们提出 DSA，一种高效的注意力机制，在长上下文场景下大幅降低计算复杂度，同时保持模型性能。（2）可扩展的强化学习框架：通过实现一套稳健的强化学习协议并扩展后训练算力，DeepSeek-V3.2 的表现与 GPT-5 相当。值得注意的是，我们的高算力变体 DeepSeek-V3.2-Speciale 超越了 GPT-5，并展现出与 Gemini-3.0-Pro 同级的推理能力，在 2025 年国际数学奥林匹克（IMO）与国际信息学奥林匹克（IOI）中均取得金牌级成绩。（3）大规模智能体任务合成流水线：为将推理能力融入工具使用场景，我们开发了一套新颖的合成流水线，能够系统性地大规模生成训练数据。该方法支撑了可扩展的智能体后训练，在复杂交互环境中显著提升了泛化能力与指令遵循的稳健性。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **DeepSeek 稀疏注意力（DSA）**：以「闪电索引器 + 细粒度 token 选择」把主模型注意力核心复杂度从 $O(L^2)$ 降到 $O(Lk)$，短、长上下文任务均未见相对 DeepSeek-V3.1-Terminus 的实质退化。
|
||
2. **可扩展的强化学习框架**：以四项稳定化技术把 GRPO 规模化，后训练算力超过预训练成本的 10%，推理基准追平 GPT-5。
|
||
3. **大规模智能体任务合成流水线**：合成 1800+ 环境、85000+ 复杂提示，在 RL 训练域之外的智能体基准上仍显著提升。
|
||
4. **高算力变体 DeepSeek-V3.2-Speciale**：仅用推理数据训练并削弱长度惩罚，在 IMO、CMO、IOI、ICPC World Final 2025 四项竞赛中均达金牌水平。
|
||
5. **推理成本显著下降**：DSA 使长上下文端到端明显加速；在 H800 上按 2 美元/GPU 小时估算，token 成本低于 V3.1-Terminus。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 DeepSeek Sparse Attention 的原型与 MLA 实现
|
||
|
||
论文把开闭源模型差距归因于三点：朴素注意力令长序列低效、后训练算力不足、智能体泛化与指令遵循落后；DSA 针对第一点，由闪电索引器（lightning indexer）与细粒度 token 选择组成。索引器为查询与前序 token 打分：
|
||
|
||
$$
|
||
I_{t,s}=\sum_{j=1}^{H^{I}}w_{t,j}^{I}\cdot\text{ReLU}\left(\mathbf{q}^{I}_{t,j}\cdot\mathbf{k}^{I}_{s}\right)
|
||
$$
|
||
|
||
选 ReLU 纯为吞吐考虑；索引器头数少且可用 FP8，故效率很高。之后只对 top-$k$ 分数对应的键值条目做注意力：
|
||
|
||
$$
|
||
\mathbf{u}_{t}=\text{Attn}\left(\mathbf{h}_t,\left\{\mathbf{c}_s \mid I_{t,s}\in\text{Top-k}\left(I_{t,:}\right)\right\}\right)
|
||
$$
|
||
|
||
为便于从 V3.1-Terminus 继续训练，DSA 实例化在 MLA 的 MQA 模式上，使每个潜向量被同一查询 token 的所有查询头共享——这是内核层面的硬约束：各头独立选 top-$k$ 反而低效。
|
||
|
||
### 3.2 继续预训练：稠密预热 + 稀疏训练
|
||
|
||
起点是上下文已扩至 128K 的 V3.1-Terminus 基座，两阶段数据分布与之对齐。稠密预热保持稠密注意力、冻结除索引器外全部参数，把主注意力分数沿头求和后沿序列 L1 归一化得目标分布 $p_{t,:}$，以 KL 散度训练索引器：
|
||
|
||
$$
|
||
\mathcal{L}^{I}=\sum_{t}\mathbb{D}_{\mathrm{KL}}\left(p_{t,:}\,\middle\|\,\text{Softmax}\left(I_{t,:}\right)\right)
|
||
$$
|
||
|
||
学习率 $10^{-3}$，1000 步 × 16 条 128K 序列，共 2.1B tokens。稀疏训练引入选择机制并优化全部参数以适应稀疏模式，索引器只在被选集合 $\mathcal{S}_t$ 上对齐：
|
||
|
||
$$
|
||
\mathcal{L}^{I}=\sum_{t}\mathbb{D}_{\mathrm{KL}}\left(p_{t,\mathcal{S}_t}\,\middle\|\,\text{Softmax}\left(I_{t,\mathcal{S}_t}\right)\right)
|
||
$$
|
||
|
||
关键设计是把索引器输入从计算图 detach，索引器只由 $\mathcal{L}^I$ 训练、主模型只按语言建模损失优化，二者解耦。此阶段学习率 $7.3\times10^{-6}$，每查询选 2048 个键值 token，15000 步 × 480 条 128K 序列，共 943.7B tokens。
|
||
|
||
### 3.3 平价评估与推理成本
|
||
|
||
稀疏化不损性能有三类证据：标准基准上 V3.2-Exp 与 V3.1-Terminus 在短、长上下文均无实质退化；人类偏好改用 ChatbotArena 间接评估（后训练策略相同、Elo 接近）；第三方评测中 AA-LCR 推理模式高 4 分、Fiction.liveBench 多指标更好。成本上，主模型注意力复杂度由 $O(L^2)$ 降至 $O(Lk)$，索引器虽仍为 $O(L^2)$ 但算量远小于 MLA；短序列 prefill 另用 masked MHA 模式模拟 DSA，成本按 H800、2 美元/GPU 小时估算。
|
||
|
||
### 3.4 后训练：专家蒸馏与混合 RL
|
||
|
||
专家蒸馏为每个任务先训练专属专家，均从同一预训练基座微调并施加大规模 RL，领域含数学、编程、逻辑推理、通用智能体任务、智能体编码与搜索，均支持思考（thinking）与非思考模式；蒸馏模型性能仅略低于专家，差距由后续 RL 消除。混合 RL 仍用 GRPO，把推理、智能体与人类对齐并入单一阶段以规避多阶段训练的灾难性遗忘；推理与智能体任务用规则结果奖励、长度惩罚与语言一致性奖励，通用任务用带评分细则（rubric）的生成式奖励模型。Speciale 变体仅在推理数据上训练并削弱长度惩罚，另引入 DeepSeekMath-V2 的数据集与奖励方法增强数学证明。
|
||
|
||
### 3.5 扩展 GRPO 的四项稳定化技术
|
||
|
||
GRPO 在组内 $G$ 个回答上最大化带裁剪的重要性采样比与 KL 惩罚目标，优势由组内奖励归一化得到 $\hat{A}_{i,t}=R_i-\text{mean}(\boldsymbol{R})$。四项改进：①无偏 KL 估计：token 采自旧策略，故用新旧策略重要性比修正 K3 估计量使梯度无偏；否则当 $\pi_{\theta}\ll\pi_{\mathrm{ref}}$ 时 K3 会给这些 token 过大的无界权重、累积噪声梯度。②Off-Policy 序列掩码：大批 rollout 切分 mini-batch 多步更新、加之推理与训练框架实现不一致，都会造成 off-policy；做法是掩掉「负优势且新旧策略 KL 散度超阈值 $\delta$」的序列，只掩负优势序列——从自身错误学习收益最大，高度 off-policy 的负样本反而误导优化。③Keep Routing：MoE 的推理与训练路由不一致会让同一输入激活不同专家、造成参数子空间突变；做法是保留采样时的专家路由并在训练中强制一致。④Keep Sampling Mask：top-p/top-k 截断使两策略动作空间不一致、违反重要性采样原则；保留采样时的截断掩码并施加于训练策略即恢复一致性。
|
||
|
||
### 3.6 工具使用中的思考
|
||
|
||
上下文管理：DeepSeek-R1 在第二轮消息到来时丢弃推理内容，使工具场景下每次调用都要重推问题。新规则是仅在引入新用户消息时丢弃历史推理内容，追加工具消息时保留，且推理移除后工具调用与结果历史仍在。冷启动用提示结合非智能体推理数据与非推理智能体数据，以 `<think></think>` 标签标记推理路径，并设计系统提示引导模型在推理中嵌套多次工具调用，虽不稳健却能偶尔产出理想轨迹，为 RL 打基础。大规模智能体任务中，搜索、代码工程与代码解释使用真实工具与环境：搜索数据由多智能体流水线合成问答对并多轮校验（只留标准答案正确、候选皆错的样本）后按 rubric 打分；代码数据从 GitHub 挖掘数百万 issue-PR 对，由自动智能体搭建可执行环境（要求 gold patch 下 F2P 非零、P2F 为零）；通用智能体自动合成 1827 个难求解易验证环境，其解函数只能调工具或做逻辑计算、不得直接访问数据库，从而强制经由工具接口求解，最终保留 pass@100 非零的 4417 个任务。
|
||
|
||
## 四、主要实验结果
|
||
|
||
评测覆盖 MMLU-Pro、GPQA Diamond、HLE（仅文本子集）、LiveCodeBench（2024.08–2025.04）、Codeforces、Aider-Polyglot、AIME 2025、HMMT Feb/Nov 2025、IMOAnswerBench、Terminal Bench 2.0、SWE-Verified、SWE Multilingual、BrowseComp、BrowseCompZh、$\tau^2$-bench、MCP-Universe、MCP-Mark、Tool-Decathlon；温度 1.0、窗口 128K，工具类基准用标准 function call 格式并以思考模式运行。
|
||
|
||
### 4.1 DeepSeek-V3.2 与闭源/开源模型对比（Table 2）
|
||
|
||
| 基准 / 任务 | DeepSeek-V3.2-Thinking | 对比对象（GPT-5-High / Gemini-3.0-Pro / Claude-4.5-Sonnet / Kimi-K2-Thinking / MiniMax-M2） | 说明 |
|
||
|---|---|---|---|
|
||
| MMLU-Pro (EM) | 85.0 | 87.5 / 90.1 / 88.2 / 84.6 / 82.0 | 落后闭源三强，高于 K2 |
|
||
| GPQA Diamond (Pass@1) | 82.4 | 85.7 / 91.9 / 83.4 / 84.5 / 77.7 | 与闭源仍有差距 |
|
||
| HLE (Pass@1，仅文本) | 25.1（官方模板 23.9） | 26.3 / 37.7 / 13.7 / 23.9 / 12.5 | 与 GPT-5 接近，远低于 Gemini |
|
||
| LiveCodeBench (Pass@1-COT) | 83.3 | 84.5 / 90.7 / 64.0 / 82.6 / 83.0 | 与 GPT-5 基本持平 |
|
||
| Codeforces (Rating) | 2386 | 2537 / 2708 / 1480 / – / – | 明显高于 Claude |
|
||
| AIME 2025 (Pass@1) | 93.1 | 94.6 / 95.0 / 87.0 / 94.5 / 78.3 | 略低于 GPT-5 与 K2 |
|
||
| HMMT Feb 2025 (Pass@1) | 92.5 | 88.3 / 97.5 / 79.2 / 89.4 / – | 超过 GPT-5 与 K2 |
|
||
| HMMT Nov 2025 (Pass@1) | 90.2 | 89.2 / 93.3 / 81.7 / 89.2 / – | 略超 GPT-5 |
|
||
| IMOAnswerBench (Pass@1) | 78.3 | 76.0 / 83.3 / – / 78.6 / – | 超过 GPT-5 与 K2 |
|
||
| Terminal Bench 2.0 (Acc) | 46.4 | 35.2 / 54.2 / 42.8 / 35.7 / 30.0 | 开源最佳，超过 GPT-5 与 Claude |
|
||
| SWE Verified (Resolved) | 73.1 | 74.9 / 76.2 / 77.2 / 71.3 / 69.4 | 开源最佳，闭源仍领先 |
|
||
| SWE Multilingual (Resolved) | 70.2 | 55.3 / – / 68.0 / 61.1 / 56.5 | 已报告对比对象中最高 |
|
||
| BrowseComp (Pass@1) | 51.4 / 67.6\* | 54.9 / – / 24.1 / –/60.2\* / 44.0 | \*为启用上下文管理后的分数 |
|
||
| BrowseCompZh (Pass@1) | 65.0 | 63.0 / – / 42.4 / 62.3 / 48.5 | 超过 GPT-5 与 K2 |
|
||
| HLE (Pass@1，搜索智能体组) | 40.8 | 35.2 / 45.8 / 32.0 / 44.9 / 31.8 | 超过 GPT-5，低于 Gemini 与 K2 |
|
||
| $\tau^2$-Bench (Pass@1) | 80.3 | 80.2 / 85.4 / 84.7 / 74.3 / 76.9 | 与 GPT-5 持平，低于 Gemini/Claude |
|
||
| MCP-Universe (成功率) | 45.9 | 47.9 / 50.7 / 46.5 / 35.6 / 29.4 | 接近 GPT-5 |
|
||
| MCP-Mark (Pass@1) | 38.0 | 50.9 / 43.1 / 33.3 / 20.4 / 24.4 | 与 GPT-5 差距最大 |
|
||
| Tool-Decathlon (Pass@1) | 35.2 | 29.0 / 36.4 / 38.6 / 17.6 / 16.0 | 超过 GPT-5 与 Gemini |
|
||
|
||
推理上与 GPT-5-High 相近、略逊 Gemini-3.0-Pro，但在 HMMT 与 IMOAnswerBench 上反超 GPT-5 与 K2，且输出 token 更少；智能体与工具使用大幅缩小开闭源差距，SWE 系与 Terminal Bench 为开源最佳，整体仍低于前沿闭源模型，MCP-Mark 差距最大。Terminal Bench 的 46.4 用 Claude Code 框架取得，BrowseComp 的 51.4 未启用上下文管理。
|
||
|
||
### 4.2 DeepSeek-V3.2-Speciale 的性能与效率（Table 3）
|
||
|
||
| 基准 | GPT-5-High | Gemini-3.0-Pro | Kimi-K2-Thinking | DeepSeek-V3.2-Thinking | DeepSeek-V3.2-Speciale |
|
||
|---|---|---|---|---|---|
|
||
| AIME 2025 (Pass@1) | 94.6 (13k) | 95.0 (15k) | 94.5 (24k) | 93.1 (16k) | 96.0 (23k) |
|
||
| HMMT Feb 2025 (Pass@1) | 88.3 (16k) | 97.5 (16k) | 89.4 (31k) | 92.5 (19k) | 99.2 (27k) |
|
||
| HMMT Nov 2025 (Pass@1) | 89.2 (20k) | 93.3 (15k) | 89.2 (29k) | 90.2 (18k) | 94.4 (25k) |
|
||
| IMOAnswerBench (Pass@1) | 76.0 (31k) | 83.3 (18k) | 78.6 (37k) | 78.3 (27k) | 84.5 (45k) |
|
||
| LiveCodeBench (Pass@1-COT) | 84.5 (13k) | 90.7 (13k) | 82.6 (29k) | 83.3 (16k) | 88.7 (27k) |
|
||
| CodeForces (Rating) | 2537 (29k) | 2708 (22k) | – | 2386 (42k) | 2701 (77k) |
|
||
| GPQA Diamond (Pass@1) | 85.7 (8k) | 91.9 (8k) | 84.5 (12k) | 82.4 (7k) | 85.7 (16k) |
|
||
| HLE (Pass@1) | 26.3 (15k) | 37.7 (15k) | 23.9 (24k) | 25.1 (21k) | 30.6 (35k) |
|
||
|
||
括号内为输出 token 数（千）；Speciale 靠更多推理 token 在多个基准上超过 Gemini-3.0-Pro，但 token 效率明显不如后者。竞赛成绩（Table 4）：IMO 2025 得 35/42 分、CMO 2025 得 102/126 分、IOI 2025 得 492/600 分（第 10 名）、ICPC WF 2025 解出 10/12 题（第 2 名），全部金牌，其中 IOI 与 ICPC WF 未做针对性训练。
|
||
|
||
### 4.3 合成智能体任务的难度与泛化（Table 5、Figure 5）
|
||
|
||
| Pass@K | DeepSeek-V3.2-Exp | Sonnet-4.5 | Gemini-3.0-Pro | GPT-5-Thinking |
|
||
|---|---|---|---|---|
|
||
| 1 | 12% | 34% | 51% | 62% |
|
||
| 2 | 18% | 47% | 65% | 75% |
|
||
| 4 | 26% | 62% | 74% | 82% |
|
||
|
||
抽 50 个合成通用智能体任务，DeepSeek-V3.2-Exp 的 Pass@1 仅 12%，前沿闭源模型最高 62%。泛化上，仅用合成通用智能体数据、在非思考模式下对 V3.2-SFT 做 RL，即在 Tau2Bench、MCP-Mark、MCP-Universe 上相对 SFT 大幅提升；而仅在代码与搜索环境做 RL 的 V3.2-Exp 毫无提升。
|
||
|
||
### 4.4 搜索智能体的上下文管理（Figure 6）
|
||
|
||
即使窗口达 128K，搜索类智能体仍常触上限而提前截断推理，故在 token 用量超过窗口 80% 时启用上下文管理：Summary 总结溢出轨迹并重新 rollout，最高 60.2 分但平均步数达 364；Discard-all 丢弃全部历史以重置上下文，以 67.6 分兼顾效率与可扩展性。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：DSA 在不牺牲长上下文性能下解决注意力复杂度瓶颈，扩大后训练算力使推理基准追平 GPT-5；大规模智能体任务合成显著提升工具使用能力；Speciale 以 IMO、IOI 金牌为开源模型立下里程碑。作者观察到性能随 RL 预算单调提升，据此判断推理能力还可随算力增长。
|
||
- **局限性**：作者自述三点：总训练 FLOPs 较少，世界知识广度落后于领先闭源模型，计划扩大预训练算力；token 效率仍是挑战，需更长轨迹才能达到 Gemini-3.0-Pro 级输出质量，未来优化推理链的「智能密度」；复杂任务求解仍不及前沿模型。正文另指出模型常冗余自我验证、轨迹过长而超出 128K，思考模式的上下文管理与 Terminus 不兼容。
|
||
- **影响**：论文给出可复制的开源追赶路径：稀疏注意力压低成本、RL 配方换取推理能力、合成环境换取智能体泛化。附录 Table 9 显示非思考模式略低但仍有竞争力（SWE Verified 72.1 对 73.1、$\tau^2$-bench 77.2 对 80.3、MCP-Mark 26.5 对 38.0）。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| DeepSeek Sparse Attention (DSA) | DeepSeek 稀疏注意力 |
|
||
| Lightning Indexer | 闪电索引器 |
|
||
| Fine-Grained Token Selection | 细粒度 token 选择 |
|
||
| Multi-Head Latent Attention (MLA) | 多头潜在注意力 |
|
||
| MQA / MHA Mode | 多查询注意力模式 / 多头注意力模式 |
|
||
| Continued Pre-Training | 继续预训练 |
|
||
| Dense Warm-up Stage | 稠密预热阶段 |
|
||
| Sparse Training Stage | 稀疏训练阶段 |
|
||
| Parity Evaluation | 平价评估（验证稀疏化不损性能） |
|
||
| Specialist Distillation | 专家蒸馏 |
|
||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||
| Unbiased KL Estimate | 无偏 KL 估计 |
|
||
| Off-Policy Sequence Masking | 离策略序列掩码 |
|
||
| Keep Routing | 保留路由（训练沿用采样时的专家路由） |
|
||
| Keep Sampling Mask | 保留采样掩码 |
|
||
| Agentic Task Synthesis Pipeline | 智能体任务合成流水线 |
|
||
| Cold-Start | 冷启动 |
|
||
| Context Management | 上下文管理 |
|
||
| Mixture-of-Experts (MoE) | 混合专家 |
|
||
| Test-Time Compute | 测试时算力 |
|