119 lines
15 KiB
Markdown
119 lines
15 KiB
Markdown
# DeepSeekMath-V2：走向可自验证的数学推理
|
||
|
||
> **原文标题**：DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning
|
||
> **arXiv**：[2511.22570](https://arxiv.org/abs/2511.22570) ｜ **发布**：27 Nov 2025
|
||
> **作者/机构**：Zhihong Shao、Yuxiang Luo、Chengda Lu、Z.Z. Ren 等，DeepSeek-AI（深度求索）
|
||
> **原文 PDF**：[02-DeepSeekMath-V2-2511.22570.pdf](./02-DeepSeekMath-V2-2511.22570.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
大语言模型在数学推理上已取得显著进展，而数学推理既是人工智能的重要试验场，若进一步推进还可能影响科学研究。通过以「奖励正确最终答案」的强化学习来扩展推理能力，大语言模型在一年之内便从表现不佳提升到在 AIME、HMMT 这类定量推理竞赛上趋于饱和。然而，这一路线面临根本性限制：追求更高的最终答案准确率并未解决一个关键问题——正确的答案并不保证正确的推理；此外，许多数学任务（如定理证明）需要严格的逐步推导而非数值答案，最终答案奖励在这些任务上并不适用。为了推进深度推理的极限，我们认为有必要验证数学推理的完备性与严谨性。自验证对于扩展测试时计算（test-time compute）尤为重要，尤其是在没有已知解的开放问题上。面向可自验证的数学推理，我们研究了如何为定理证明训练一个准确且忠实的基于大语言模型的验证器。随后，我们以该验证器作为奖励模型训练一个证明生成器，并激励生成器在最终给出答案前尽可能多地识别并解决自身证明中的问题。为了在生成器变强的同时维持「生成—验证差距」（generation-verification gap），我们提出扩展验证计算量来自动标注新的、难以验证的证明，从而生成训练数据以进一步改进验证器。由此得到的模型 DeepSeekMath-V2 展现出强大的定理证明能力：在扩展测试时计算量的条件下，它在 IMO 2025 与 CMO 2024 上取得金牌级分数，并在 Putnam 2024 上取得近乎完美的 118/120。虽然仍有大量工作要做，但这些结果表明，可自验证的数学推理是一个可行方向，可能有助于发展能力更强的数学人工智能系统。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **用「验证推理过程」替代「奖励最终答案」**：指出最终答案奖励的两个根本缺陷（正确答案可能源自错误推理；定理证明没有数值答案），转而对证明的完备性与严谨性建模，把奖励信号建立在证明质量本身之上。
|
||
2. **训练出准确且忠实的证明验证器，并以元验证（meta-verification）消除幻觉问题**：验证器按三级评分（1 / 0.5 / 0）输出「问题清单 + 分数」；再用元验证器审查清单中的问题是否真实存在、是否足以支撑所给分数，使验证器分析的平均质量分从 0.85 升至 0.96，而分数预测准确率不变。
|
||
3. **让证明生成器具备真正的自验证能力**：训练时要求生成器在给出证明后附上按同一评分标准写的自评，并用验证器同时评判「证明分数」与「自评分数的元验证分数」，使「先自查再收尾」成为获取高奖励的最优策略，而非盲目试错。
|
||
4. **构建验证器与生成器互相促进的自动迭代闭环**：生成器变强后会产生验证器难以判定的新证明；通过扩展验证采样（$n$ 份分析 + $m$ 次元验证 + 至少 $k$ 份有效分析才采纳最低分）自动标注这些困难样本，最后两轮迭代完全取代人工标注。
|
||
5. **在竞赛数学上取得金牌级结果**：IMO 2025 解出 6 题中的 5 题、CMO 2024 解出 4 题并另有 1 题获部分分，Putnam 2024 得 118/120（超过人类参赛者最高分 90）；IMO-ProofBench 基础集超过 DeepMind DeepThink（IMO 金牌），进阶集保持竞争力。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 训练证明验证器：先给「问题清单」，再给分数
|
||
|
||
论文先制定高层次的证明评估量规（rubric）$\mathcal{I}_{v}$，让验证器复现数学专家的评审方式。给定问题 $X$ 与证明 $Y$，验证器 $\pi_{\varphi}(\cdot \mid X, Y, \mathcal{I}_{v})$ 先总结发现的问题（如有），再给出三级评分：**1 分**为完全正确、所有步骤清晰论证；**0.5 分**为整体逻辑成立但有轻微错误或细节缺失；**0 分**为存在致命逻辑错误或关键缺口。
|
||
|
||
冷启动数据分三步：从 Art of Problem Solving（AoPS）竞赛爬取 17,503 道明确要求证明的题目（优先数学奥林匹克、国家队选拔赛与 2010 年后题目），记为 $\mathcal{D}_{p}$；用 DeepSeek-V3.2-Exp-Thinking 的一个变体多轮迭代生成候选证明（该模型未针对定理证明优化，输出简洁但易出错）；再由专家按量规打分，得到初始 RL 数据集 $\mathcal{D}_{v}=\{(X_{i},Y_{i},s_{i})\}$，$s_{i}\in\{0,0.5,1\}$。
|
||
|
||
验证器在 DeepSeek-V3.2-Exp-SFT 上用强化学习训练，奖励由两部分相乘：**格式奖励** $R_{\text{format}}$ 检查回复是否含有关键句「Here is my evaluation of the solution:」以及「Based on my evaluation, the final overall score should be:」之后 `\boxed{}` 内的分数；**分数奖励** $R_{\text{score}}$ 衡量预测分数与标注分数的接近程度：
|
||
|
||
$$R_{\text{score}}(s_{i}',s_{i}) = 1 - |s_{i}' - s_{i}|$$
|
||
|
||
优化目标为：
|
||
|
||
$$\max_{\pi_{\varphi}} \mathbb{E}_{(X_{i},Y_{i},s_{i})\sim\mathcal{D}_{v},\ (V_{i}',s_{i}')\sim\pi_{\varphi}(\cdot|X_{i},Y_{i})}\left[R_{\text{format}}(V_{i}')\cdot R_{\text{score}}(s_{i}',s_{i})\right]$$
|
||
|
||
其中 $V_{i}'$ 是验证器的完整回复，$s_{i}'$ 是从中抽取的分数（下同）。
|
||
|
||
### 3.2 元验证：为什么必须审查验证器自己说的问题
|
||
|
||
该目标只监督「分数是否对」，对「指出的问题是否真实」无任何直接监督，因此存在关键漏洞：评估有缺陷的证明（$s_{i}<1$）时，验证器只要分数猜对，就能一边拿满分一边**幻觉出不存在的问题**，可信度随之崩塌。
|
||
|
||
为此论文引入**元验证（meta-verification）**：由第二个评审过程判断验证器指出的问题是否确实存在、以及按量规 $\mathcal{I}_{v}$ 是否足以支撑其给出的分数（完整量规 $\mathcal{I}_{mv}$ 见附录 A.3）。元验证器同样用 RL 训练：由专家按 $\mathcal{I}_{mv}$ 给验证器回复的质量打分，构成 $\mathcal{D}_{mv}=\{(X_{i},Y_{i},V_{i},ms_{i})\}$，$ms_{i}\in\{0,0.5,1\}$；再训练 $\pi_{\eta}(\cdot\mid X,Y,V,\mathcal{I}_{mv})$ 分析验证器的分析 $V$，其输出同样是「问题总结 + 质量分」，目标结构与验证器一致。
|
||
|
||
把元验证反馈并入验证器奖励：$R_{V} = R_{\text{format}} \cdot R_{\text{score}} \cdot R_{\text{meta}}$。增强后的验证器同时在 $\mathcal{D}_{v}$ 与 $\mathcal{D}_{mv}$ 上训练（$\mathcal{D}_{mv}$ 上沿用训练元验证器的奖励机制），因此同一模型既能做证明验证也能做元验证。在 $\mathcal{D}_{v}$ 验证集上，验证器分析的平均质量分从 **0.85 升至 0.96**，分数预测准确率保持不变。
|
||
|
||
### 3.3 训练证明生成器：把验证器当奖励模型
|
||
|
||
以验证器 $\pi_{\varphi}$ 作为生成式奖励模型，训练证明生成器 $\pi_{\theta}(\cdot\mid X)$：
|
||
|
||
$$\max_{\pi_{\theta}} \mathbb{E}_{X_{i}\sim\mathcal{D}_{p},\ Y_{i}\sim\pi_{\theta}(\cdot|X_{i})}[R_{Y}]$$
|
||
|
||
其中 $R_{Y}$ 即 $\pi_{\varphi}(\cdot\mid X_{i},Y_{i},\mathcal{I}_{v})$ 给出的证明分数。
|
||
|
||
### 3.4 自验证：让生成器「明牌」地最大化自己的奖励
|
||
|
||
论文观察到一个关键限制：要求生成器一次性「既写证明又自我分析」时，它倾向声称自己正确，哪怕外部验证器一眼就能找出漏洞——它能据外部反馈修改证明，却不能以验证器的严格程度评估自己的作品。
|
||
|
||
于是训练时要求生成器在写出证明 $Y$ 后，附上遵循同一格式与量规的自分析 $Z$，自评分数记为 $s'$。为保证自评忠实，由验证器同时评估两部分：证明得 $R_{Y}=s$，自分析得元验证分 $R_{\text{meta}}(Z)=ms$。总奖励为：
|
||
|
||
$$R = R_{\text{format}}(Y,Z)\cdot(\alpha\cdot R_{Y} + \beta\cdot R_{Z}),\qquad R_{Z} = R_{\text{score}}(s',s)\cdot R_{\text{meta}}(Z)$$
|
||
|
||
论文取 $\alpha = 0.76$、$\beta = 0.24$。该结构产生三个激励：如实承认错误优于谎称正确；最高奖励来自「写出正确证明并准确认识其严谨程度」；因此最优策略是在收尾前尽可能多地识别并解决问题。用论文的话说，这是让模型**明确意识到自己的奖励函数，并通过深思熟虑的推理而非盲目试错去最大化它**。
|
||
|
||
### 3.5 验证与生成的协同：用验证算力自动标注困难样本
|
||
|
||
验证器提升生成器，生成器变强后又产出挑战验证器能力的新证明，形成可持续循环。瓶颈是标注：需为新证明标注正确性，而人工标注随题目变难、错误变隐蔽而愈发昂贵。论文先让验证器对同一证明生成多份分析以「浮出」潜在问题供人审阅，并确认两件事：**扩展验证采样次数能提高在错误证明中抓到真实问题的概率**；「审查验证器指出的问题」本身就是元验证，比从零发现问题更容易。
|
||
|
||
据此设计全自动标注流程：① 对每份证明生成 $n$ 份独立验证分析；② 对报告有问题（0 或 0.5 分）的分析再生成 $m$ 份元验证评估，多数确认其结论则该分析有效；③ 对每份证明检查给出最低分的分析，若至少 $k$ 份有效，则用该最低分打标；若所有尝试都未发现合法问题则标为 1；否则丢弃或转交专家标注。论文最后两轮迭代中，这条流水线完全取代了人工标注，质量检查显示自动标签与专家判断吻合良好。
|
||
|
||
### 3.6 训练流程与评测设置
|
||
|
||
训练采用组相对策略优化（Group Relative Policy Optimization, GRPO），迭代优化证明验证与生成。每轮迭代先优化验证；生成器再从验证器检查点初始化并针对证明生成优化。从第二轮起，验证器改由一个「经拒绝式微调（rejection fine-tuning）整合了上一轮验证与生成两种能力」的检查点初始化。
|
||
|
||
评测基准包括：内部 CNML 级问题（91 道证明题：代数 13、几何 24、数论 19、组合 24、不等式 11，难度与中国高中数学联赛相当）；IMO 2025（6 题）；CMO 2024（6 题）；Putnam 2024（12 题）；ISL 2024（IMO 短名单，31 题）；IMO-ProofBench（60 题，DeepMind 团队开发，分基础集与进阶集各 30 题）。
|
||
|
||
## 四、主要实验结果
|
||
|
||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||
|---|---|---|---|
|
||
| 内部 CNML 级问题（单次生成） | 在所有类别（代数、几何、数论、组合、不等式）上一致领先 | GPT-5-Thinking-High、Gemini 2.5-Pro | 每题生成 8 份证明样本，用最终验证器的 8 次验证分析多数投票判定正确性；论文未给出逐项具体数值 |
|
||
| IMO 2025（高算力搜索） | 6 题解出 5 题，占该 5 题总分 83.3% | — | 金牌级表现 |
|
||
| CMO 2024（高算力搜索） | 6 题解出 4 题并另 1 题获部分分，占该 5 题总分 73.8% | — | 金牌级表现 |
|
||
| Putnam 2024（高算力搜索） | 118/120（12 题中 11 题完全解出、1 题有轻微错误） | 人类参赛者最高分 90 | 按所计 6 题折算为 98.3% |
|
||
| IMO-ProofBench 基础集 / 进阶集 | 基础集超过 DeepThink（IMO Gold），进阶集保持竞争力、显著优于其他基线 | DeepMind DeepThink、其他基线 | 本模型由作者方专家按同一评分指南评判，其余结果取自 Luong et al. (2025) |
|
||
| IMO Shortlist 2024（顺序精修） | Pass@1 随最大迭代次数（1→8）显著提升；Best@32 明显高于线程平均分 | 自身（1 次生成、无精修） | 每题 32 条独立精修线程；正确性由 32 次验证分析多数投票判定 |
|
||
| 验证器分析质量（内部验证集） | 0.85 → 0.96 | 加入元验证前 | 分数预测准确率保持不变 |
|
||
|
||
总体上，DeepSeekMath-V2 在最难的竞赛证明题上领先：高算力搜索下 IMO 2025 与 CMO 2024 均达金牌水平，Putnam 2024 的 118/120 超过人类最高分 90；单次生成下在各类 CNML 级问题上一致优于 GPT-5-Thinking-High 与 Gemini 2.5-Pro。论文同时指出的差距是：**最难的 IMO 级问题仍然棘手**，未完全解出的题目往往卡在若干真实存在的问题；且高算力搜索依赖 64 份候选证明、每题 64 次验证与至多 16 轮精修，单次生成还受 128K token 长度限制。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：DeepSeekMath-V2 既能生成也能验证数学证明。通过训练模型识别自身推理中的问题、并激励其在收尾前解决，它超越了基于最终答案的奖励，走向可自验证的数学推理；验证与生成能力交替迭代，构成相互驱动的循环。四项关键技术贡献为：(1) 训练出准确且忠实的基于大语言模型的证明验证器；(2) 用元验证大幅减少幻觉问题、保障验证质量；(3) 通过自验证激励生成器最大化证明质量；(4) 扩展验证计算量以自动标注越来越难验证的证明，从而在无人工标注的情况下改进验证器。
|
||
- **局限性**：论文自述「仍有重大挑战」；最难的 IMO 级问题依然难以攻克；难以验证的新证明在早期迭代中仍需人工标注（仅最后两轮迭代实现全自动标注）；单次生成受 128K token 限制，长证明需多轮顺序精修；极高成绩来自扩展测试时计算（大量采样、验证与精修），并非单次推理即可达成。其余细节（如模型参数量）论文未明确说明。
|
||
- **影响**：论文把「自然语言证明的可验证性」作为独立研究目标，证明大语言模型可为复杂推理发展出有意义的自我评估能力。其潜在影响一是让生成器内化奖励函数、以推理而非盲试提升质量；二是自动标注闭环为难以自动验证的证明提供可扩展的数据来源；三是作者认为推进自然语言定理证明将显著有利于形式化推理（Lean、Isabelle 等），并希望最终走向结合非形式化洞见与形式化保证的可靠数学推理系统，服务研究级数学。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| Self-Verifiable Mathematical Reasoning | 可自验证的数学推理 |
|
||
| Proof Verification | 证明验证 |
|
||
| Proof Generator | 证明生成器 |
|
||
| Verifier | 验证器 |
|
||
| Meta-Verification | 元验证 |
|
||
| Meta-Verifier | 元验证器 |
|
||
| Generation-Verification Gap | 生成—验证差距 |
|
||
| Proof Analysis / Identified Issues | 证明分析 / 所识别的问题 |
|
||
| Rubrics | 评估量规（评分标准） |
|
||
| Score Reward / Format Reward | 分数奖励 / 格式奖励 |
|
||
| Self-Verification / Self-Analysis | 自验证 / 自分析 |
|
||
| Sequential Refinement | 顺序精修 |
|
||
| High-Compute Search | 高算力搜索 |
|
||
| Scaled Test-Time Compute | 扩展的测试时计算 |
|
||
| Generative Reward Model | 生成式奖励模型 |
|
||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||
| Rejection Fine-Tuning | 拒绝式微调 |
|
||
| Pass@1 / Best@32 | 单次通过均分 / 32 次中最佳 |
|
||
| Automated Labeling | 自动标注 |
|