新增: DeepSeek 全部 33 篇官方论文(原文 PDF 走 Git LFS + 中文精读笔记与索引)
This commit is contained in:
ylhan
@@ -0,0 +1,126 @@
|
||||
# DeepSeekMath：推动开源语言模型数学推理的极限
|
||||
|
||||
> **原文标题**：DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
|
||||
> **arXiv**：[2402.03300](https://arxiv.org/abs/2402.03300) ｜ **发布**：5 Feb 2024（最后修订 27 Apr 2024）
|
||||
> **作者/机构**：Zhihong Shao、Peiyi Wang、Qihao Zhu 等（DeepSeek-AI（深度求索），联合清华大学、北京大学）
|
||||
> **原文 PDF**：[01-DeepSeekMath-2402.03300.pdf](./01-DeepSeekMath-2402.03300.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
数学推理因其复杂且高度结构化的特性，对语言模型构成了重大挑战。本文提出 DeepSeekMath 7B：它基于 DeepSeek-Coder-Base-v1.5 7B 继续预训练，使用从 Common Crawl 中获取的 1200 亿（120B）数学相关 token，并混合自然语言与代码数据。DeepSeekMath 7B 在不依赖外部工具包和投票技术的情况下，于竞赛级 MATH 基准上取得了 51.7% 的亮眼成绩，接近 Gemini-Ultra 与 GPT-4 的性能水平。对 DeepSeekMath 7B 采样 64 次并施加自一致性（self-consistency）策略，可在 MATH 上达到 60.9%。DeepSeekMath 的数学推理能力归因于两个关键因素：第一，我们通过精心设计的数据筛选流水线，充分挖掘了公开可得网页数据中的巨大潜力；第二，我们提出了组相对策略优化（Group Relative Policy Optimization, GRPO），它是近端策略优化（Proximal Policy Optimization, PPO）的一种变体，在增强数学推理能力的同时，也优化了 PPO 的显存（内存）使用。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **规模化数学预训练语料**：从公开的 Common Crawl 中筛出 120B token 的高质量数学网页语料 DeepSeekMath Corpus，规模约为 Minerva 所用数学网页的 7 倍、OpenWebMath 的 9 倍，证明公开网页数据蕴含大量可用信息。
|
||||
2. **小模型追平超大模型**：DeepSeekMath-Base 7B 在 GSM8K 达 64.2%、竞赛级 MATH 达 36.2%，与闭源 Minerva 540B 大致相当，说明参数量并非数学推理能力的唯一决定因素。
|
||||
3. **代码训练提升数学推理**：先代码训练再数学训练，可同时提升「不用工具」与「用工具」两种数学求解能力，为「代码训练是否提升推理」提供了部分答案。
|
||||
4. **arXiv 论文作用有限**：arXiv 论文常被纳入数学预训练数据，但实验中它在本文全部数学基准上均无明显提升。
|
||||
5. **提出 GRPO 算法**：GRPO 舍弃 PPO 的 critic（价值）模型，改用同一问题多个采样输出的组内平均分作基线，显著降低训练开销；仅用 GSM8K/MATH 指令数据即把模型提升到 GSM8K 88.2%、MATH 51.7%，域外数学任务同步提升。
|
||||
6. **统一范式与 RL 机理分析**：把 SFT、RFT、DPO、PPO、GRPO 统一到「数据来源 + 奖励函数 + 梯度系数」框架，并用在线/离线采样、结果/过程监督、单轮/迭代式 RL 等实验剖析 RL 的有效性与改进方向。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 迭代式数据筛选流水线与去污染
|
||||
|
||||
痛点在于公开网页数据量极大但数学内容稀疏、质量参差，而高质量数学种子集合缺乏多样性。论文以 OpenWebMath 作为初始种子语料训练 fastText 分类器（向量维度 256、学习率 0.1、word n-gram 上限 3 等），取 50 万条种子数据作正例、50 万条 Common Crawl 网页作负例；先对 Common Crawl 做 URL 去重与近重复去重得到 40B 个 HTML 网页，再用该分类器召回数学网页并按打分排序保留靠前部分，保留量由 top 40B–160B token 的预训练实验决定，第一轮保留 top 40B token。
|
||||
|
||||
第一轮后仍漏掉大量网页，原因是正例多样性不足。论文把 Common Crawl 划分为互不重叠的域名（domain，即共享同一基础 URL），统计各域名中第一轮被收集网页的占比，超过 10% 的判为数学相关域名（如 mathoverflow.net），再人工标注其中的数学 URL（如 mathoverflow.net/questions），把「URL 已标注但网页未收集」的页面补入种子语料并重训分类器。四轮迭代后共得 3550 万个数学网页、120B token；第四轮发现近 98% 的数据在第三轮已收集，故停止采集。
|
||||
|
||||
为避免基准污染，凡与 GSM8K、MATH 及 CMATH、AGIEval 等基准任意子串完全匹配的 10-gram 片段都剔除；不足 10 gram 但至少 3 gram 的基准文本用精确匹配过滤。
|
||||
|
||||
### 3.2 语料质量验证与 DeepSeekMath-Base 7B
|
||||
|
||||
论文用 1.3B 通用模型（DeepSeek-LLM 1.3B）在每种数学语料上各训 150B token 做对比，设置沿袭 DeepSeek LLM：AdamW，$\beta_1=0.9$、$\beta_2=0.95$、weight_decay $=0.1$，多步学习率调度（2000 步 warmup 达峰值，进度 80% 降至峰值 31.6%、90% 降至 10.0%），峰值学习率 5.3e-4，批大小 4M token，上下文 4K，框架为 HAI-LLM。结果显示 DeepSeekMath Corpus 在 8 个中英文基准上全面领先，在 50B token（Proof-Pile-2 的一个完整 epoch）处就已优于 Proof-Pile-2，说明平均质量更高；又因语料含中英等多语言内容，中文数学推理同步受益，而英文为主的既有语料对中文提升有限甚至有害。
|
||||
|
||||
DeepSeekMath-Base 7B 以代码模型 DeepSeek-Coder-Base-v1.5 7B 为起点（论文观察到从代码模型出发优于通用 LLM），继续训练 500B token，配比为 56% DeepSeekMath Corpus、4% AlgebraicStack、10% arXiv、20% GitHub 代码、10% 中英文 Common Crawl 自然语言；峰值学习率 4.2e-4、批大小 10M token。
|
||||
|
||||
### 3.3 监督微调与 DeepSeekMath-Instruct 7B
|
||||
|
||||
数学指令数据共 776K 条：英文部分对 GSM8K 与 MATH 标注工具集成解法，并采用 MathInstruct 子集与 Lila-OOD 训练集（题目用思维链 CoT 或程序思维 PoT 求解），覆盖代数、概率、数论、微积分、几何等；中文部分收集 K-12 数学题，覆盖线性方程等 76 个子主题，并标注 CoT 与工具集成两种解法。训练时样本随机拼接至最长 4K token，训 500 步，批大小 256，学习率恒为 5e-5。
|
||||
|
||||
### 3.4 GRPO：从 PPO 到组相对策略优化
|
||||
|
||||
PPO 通过最大化如下代理目标优化策略：
|
||||
|
||||
$$\mathcal{J}_{PPO}(\theta)=\mathbb{E}_{q\sim P(Q),\,o\sim\pi_{\theta_{old}}(O|q)}\frac{1}{|o|}\sum_{t=1}^{|o|}\min\left[\frac{\pi_{\theta}(o_t|q,o_{<t})}{\pi_{\theta_{old}}(o_t|q,o_{<t})}A_t,\ \mathrm{clip}\left(\frac{\pi_{\theta}(o_t|q,o_{<t})}{\pi_{\theta_{old}}(o_t|q,o_{<t})},1-\varepsilon,1+\varepsilon\right)A_t\right]$$
|
||||
|
||||
其中优势 $A_t$ 由广义优势估计（GAE）基于奖励 $\{r_{\ge t}\}$ 与价值函数 $V_{\psi}$ 计算；为抑制对奖励模型的过度优化，标准做法是在每个 token 的奖励中加入参考模型的 KL 惩罚：
|
||||
|
||||
$$r_t = r_{\varphi}(q,o_{\le t}) - \beta\log\frac{\pi_{\theta}(o_t|q,o_{<t})}{\pi_{ref}(o_t|q,o_{<t})}$$
|
||||
|
||||
GRPO 针对两个痛点：PPO 的价值函数通常与策略模型规模相当，带来可观的显存与计算负担；且 LLM 场景中往往只有最后一个 token 被奖励模型打分，逐 token 准确的价值函数很难训练。因此 GRPO 不做价值函数近似，而是对同一问题 $q$ 从旧策略 $\pi_{\theta_{old}}$ 采样一组输出 $\{o_1,\dots,o_G\}$，以组内平均奖励为基线，最大化：
|
||||
|
||||
$$\mathcal{J}_{GRPO}(\theta)=\mathbb{E}_{q\sim P(Q),\,\{o_i\}_{i=1}^{G}\sim\pi_{\theta_{old}}(O|q)}\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\left\{\min\left[\frac{\pi_{\theta}(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t}|q,o_{i,<t})}\hat{A}_{i,t},\ \mathrm{clip}\left(\frac{\pi_{\theta}(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{old}}(o_{i,t}|q,o_{i,<t})},1-\varepsilon,1+\varepsilon\right)\hat{A}_{i,t}\right]-\beta\,\mathbb{D}_{KL}\left[\pi_{\theta}||\pi_{ref}\right]\right\}$$
|
||||
|
||||
其中 $\hat{A}_{i,t}$ 只基于组内各输出的相对奖励计算，这与奖励模型的比较本质相契合——奖励模型通常就在同一问题的多输出比较数据上训练。与 PPO 把 KL 惩罚加进奖励不同，GRPO 直接把 KL 散度加进损失，从而不干扰 $\hat{A}_{i,t}$ 的计算，并采用保证非负的无偏估计量：
|
||||
|
||||
$$\mathbb{D}_{KL}\left[\pi_{\theta}||\pi_{ref}\right]=\frac{\pi_{ref}(o_{i,t}|q,o_{i,<t})}{\pi_{\theta}(o_{i,t}|q,o_{i,<t})}-\log\frac{\pi_{ref}(o_{i,t}|q,o_{i,<t})}{\pi_{\theta}(o_{i,t}|q,o_{i,<t})}-1$$
|
||||
|
||||
### 3.5 结果监督、过程监督与迭代式 RL
|
||||
|
||||
**结果监督**：奖励模型只对每个输出给一个末尾分数，奖励经组内去均值、除标准差归一化后赋给该输出所有 token 的优势：
|
||||
|
||||
$$\hat{A}_{i,t}=\widetilde{r}_i=\frac{r_i-\mathrm{mean}(\mathbf{r})}{\mathrm{std}(\mathbf{r})}$$
|
||||
|
||||
**过程监督**：论文认为结果监督只在末尾给一次奖励，对复杂数学任务不够充分高效，故沿 Wang et al. (2023b) 在每步推理结束时给奖励。设第 $j$ 步结束 token 索引为 $index(j)$、第 $i$ 个输出共 $K_i$ 步，全部步骤奖励整体归一化 $\widetilde{r}_i^{index(j)}=\dfrac{r_i^{index(j)}-\mathrm{mean}(\mathbf{R})}{\mathrm{std}(\mathbf{R})}$，再以「后续各步归一化奖励之和」作为该 token 优势：
|
||||
|
||||
$$\hat{A}_{i,t}=\sum_{index(j)\ge t}\widetilde{r}_i^{index(j)}$$
|
||||
|
||||
**迭代式 RL**：随训练推进，旧奖励模型可能不再足以监督当前策略。算法 1 每轮先把当前策略复制为参考模型，用其采样结果构造奖励模型的新数据，并以混入 10% 历史数据的 replay 机制持续训练旧奖励模型，再用新模型继续训练策略。
|
||||
|
||||
### 3.6 统一范式：数据来源、奖励函数与梯度系数
|
||||
|
||||
论文把各类方法的梯度统一写为：
|
||||
|
||||
$$\nabla_{\theta}\mathcal{J}_{\mathcal{A}}(\theta)=\mathbb{E}_{(q,o)\sim\mathcal{D}}\left(\frac{1}{|o|}\sum_{t=1}^{|o|}GC_{\mathcal{A}}(q,o,t,\pi_{rf})\,\nabla_{\theta}\log\pi_{\theta}(o_t|q,o_{<t})\right)$$
|
||||
|
||||
三个关键组件是数据来源 $\mathcal{D}$、奖励函数 $\pi_{rf}$ 与算法 $\mathcal{A}$（把数据与奖励信号加工成决定奖惩力度的梯度系数 $GC$）。据此，SFT 用人工数据、梯度系数恒为 1；RFT 以 SFT 模型离线采样输出按答案正确性筛选；DPO 用成对偏好损失在 SFT 采样输出上优化；Online RFT 改用实时策略的采样输出；PPO/GRPO 用模型奖励信号强化实时采样输出。观察结论是：在线采样显著优于离线采样，优势主要体现在训练后期；GRPO 的独特之处是依据奖励值调节梯度系数，对不同质量回答做差异化强化与惩罚，而 Online RFT 不惩罚错误回答、对正确回答一律等强度强化；结果监督（GRPO+OS）不如过程监督（GRPO+PS），说明细粒度、步骤感知的梯度系数更有益。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| MATH（无工具，CoT） | Instruct 7B 46.8%；RL 7B 51.7% | GPT-4 52.9%、Gemini-Ultra 53.2%、GLM-4 47.9%、Baichuan-3 49.2%、Qwen 72B 35.2% | 开源社区首次在竞赛级 MATH 上超过 50%；Instruct 比所有开源模型及多数闭源模型（Inflection-2 34.8%、Gemini Pro 32.6%）至少高 9 个百分点 |
|
||||
| MATH（自一致性，64 采样） | 60.9% | — | 摘要给出 |
|
||||
| MATH（工具集成推理） | Instruct 57.4%；RL 58.8% | GPT-4 Code Interpreter 69.7%、InternLM2-Math 20B 54.3%、ToRA 34B 50.8% | Instruct 准确率接近 60%，超过全部开源模型 |
|
||||
| GSM8K（无工具，CoT） | Instruct 82.9%；RL 88.2% | Gemini Ultra 94.4%、GPT-4 92.0%、InternLM2-Math 20B 82.6% | RL 版本优于 7B–70B 全部开源模型 |
|
||||
| GSM8K（+Python） | Instruct 83.7%；RL 86.7% | DeepSeek-LLM-Chat 67B 86.7%、Llemma 34B 64.6% | 工具集成设置 |
|
||||
| MGSM-zh（中文） | Instruct 73.2%；RL 79.6% | DeepSeek-LLM-Chat 67B 74.0%、MetaMath 70B 66.4% | RL 较 Instruct 提升明显 |
|
||||
| CMATH（中文，域外） | Instruct 84.6%；RL 88.8% | DeepSeek-LLM-Chat 67B 80.3%、WizardMath-v1.0 70B 65.4% | RL 仅用 GSM8K/MATH 的 CoT 数据，仍提升域外任务 4.2 个百分点 |
|
||||
| DeepSeekMath-Base 7B（8 个中英文基准） | GSM8K 64.2%、MATH 36.2%、SAT 84.4%、MMLU-STEM 56.5%、CMATH 71.7%、Gaokao-MathQA 35.3% | Minerva 540B：58.8% / 33.6% / − / 63.9%；Llemma 34B：54.0% / 25.3% | 领先所有开源基座模型；MATH 上超过开源基座 10 个百分点以上，并超过参数量大 77 倍的闭源 Minerva 540B |
|
||||
| miniF2F（Isabelle 形式化证明） | Base 7B：valid 25.8%、test 24.6% | Llemma 34B：21.0% / 21.3%；Mistral 7B：18.9% / 18.0% | 非形式到形式证明任务，few-shot 生成证明骨架后由 Sledgehammer 补全细节 |
|
||||
| MMLU / BBH / 代码 | Base 7B：54.9% / 59.5%；HumanEval 40.9%、MBPP 52.6% | 前身 DeepSeek-Coder-Base-v1.5：49.1% / 55.2%，43.2% / 60.4%；Mistral 7B：62.4% / 55.7%，28.0% / 41.4% | 数学训练提升了语言理解与推理；纳入代码 token 继续训练使其基本保持代码能力 |
|
||||
| 语料对比（1.3B，150B token） | DeepSeekMath Corpus 120.2B：GSM8K 23.8%、MATH 13.6%、SAT 56.3%、CMATH 41.5% | Proof-Pile-2 51.9B：14.3% / 11.2% / 43.8% / 19.9%；OpenWebMath 13.6B：11.5% / 8.9% / 31.3% / 16.8%；MathPile 8.9B：2.7% / 3.3% / 12.5% / 1.2% | 质量最高、覆盖多语言、规模最大；训练曲线更陡且提升更持久，小语料已被重复多轮、性能很快触顶 |
|
||||
| 代码/数学训练顺序（1.3B） | 两阶段（代码 400B → 数学 150B）：GSM8K 21.9%、MATH 15.3%、GSM8K+Python 17.4%、MATH+Python 9.4% | 两阶段（通用 400B → 数学 150B）：19.1% / 14.4% / 14.3% / 6.7%；单阶段数学 150B：20.5% / 13.1% / 11.4% / 6.5% | 先代码后数学在有无工具两种设置下都更好；单阶段混合训练（400B 代码 + 150B 数学）缓解了灾难性遗忘、把 MATH+Python 提到 13.5%，但无工具数学推理反而下降（GSM8K 17.6%），论文推测 1.3B 规模不足以同时吸收两类数据 |
|
||||
| arXiv 语料（1.3B 与 7B） | MathPile / ArXiv-RedPajama：1.3B 上 GSM8K 2.7% / 3.3%、MATH 3.3% / 3.4%；7B 上 GSM8K 23.6% / 28.1%、MATH 11.5% / 11.1% | 未做数学训练的基线：1.3B 2.9% / 3.0%，7B 29.0% / 12.5% | 纯 arXiv 语料未带来明显提升甚至退化；miniF2F 同样退化（7B：基线 20.1%/21.7%，MathPile 16.8%/16.4%，ArXiv-RedPajama 14.8%/11.9%） |
|
||||
|
||||
DeepSeekMath 系列在中文数学基准上优势尤为明显，因为语料没有像以往工作那样只收英文数据。竞赛级 MATH 上，不带工具 51.7% 与带工具 58.8% 都刷新了开源模型记录，但相对 GPT-4 Code Interpreter 与 Gemini-Ultra 仍有差距。RL 版本只在 GSM8K 与 MATH 的 CoT 数据上继续训练，却全面优于 Instruct 版本；纯 arXiv 语料、几何与定理证明类任务则相对薄弱。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeekMath 在竞赛级 MATH 基准上超过全部开源模型并接近闭源模型；它从 DeepSeek-Coder-v1.5 7B 初始化、继续训练 500B token，核心部分是来自 Common Crawl 的 120B 数学 token。消融表明网页数据潜力巨大，arXiv 作用则不如预期；GRPO 以更少显存显著提升数学推理，即使 Instruct 版本分数已很高依然有效。
|
||||
- **局限性**：论文自述——尽管定量推理基准成绩亮眼，DeepSeekMath 在几何与定理证明上弱于闭源模型（试运行中无法处理三角形与椭圆相关问题），这可能反映预训练与微调的数据选择偏置；受模型规模限制，其少样本能力不如 GPT-4：GPT-4 能随 few-shot 输入提升，DeepSeekMath 在零样本与少样本评测中则表现相近。此外 RL 提升了 Maj@K 却未提升 Pass@K，说明提升来自输出分布更鲁棒、把正确答案从 TopK 中「抬升」，而非基础能力增强；arXiv 无效的结论也有边界——论文尚未研究 arXiv token 对定理非形式化等任务的影响、与其他数据组合的效果、以及更大规模下是否显现收益。
|
||||
- **影响**：本文证明公开网页数据经精细筛选即可支撑强数学推理，参数量不是唯一决定因素；GRPO 去掉 critic、以组内相对奖励估计基线，大幅节约显存与算力，成为后续大模型强化学习广泛沿用的基础算法；「先代码、后数学」与「arXiv 收益有限」为数据配方提供可复用参考；统一范式把 SFT、RFT、DPO、PPO、GRPO 纳入同一视角，并指出数据源、算法与奖励函数三个改进方向。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||||
| Proximal Policy Optimization (PPO) | 近端策略优化 |
|
||||
| Critic / Value Function | 评论家（价值函数） |
|
||||
| Group Relative Advantage Estimation | 组相对优势估计 |
|
||||
| Common Crawl (CC) | 通用网页爬取语料库 |
|
||||
| fastText Classifier | fastText 分类器 |
|
||||
| Decontamination | 去污染（基准泄漏过滤） |
|
||||
| Chain-of-Thought (CoT) | 思维链 |
|
||||
| Program-of-Thought (PoT) | 程序思维 |
|
||||
| Tool-Integrated Reasoning (TIR) | 工具集成推理 |
|
||||
| Supervised Fine-Tuning (SFT) | 监督微调 |
|
||||
| Rejection Sampling Fine-Tuning (RFT) | 拒绝采样微调 |
|
||||
| Direct Preference Optimization (DPO) | 直接偏好优化 |
|
||||
| Outcome Supervision / Process Supervision | 结果监督 / 过程监督 |
|
||||
| Self-Consistency | 自一致性 |
|
||||
| Pass@K / Maj@K | 通过率 @K / 多数投票 @K |
|
||||
| Autoformalization (Informal-to-Formal Proving) | 自动形式化（非形式到形式证明） |
|
||||
| miniF2F / Isabelle / Sledgehammer | miniF2F 基准 / Isabelle 证明助手 / Sledgehammer 自动证明器 |
|
||||
Binary file not shown.
@@ -0,0 +1,118 @@
|
||||
# DeepSeekMath-V2：走向可自验证的数学推理
|
||||
|
||||
> **原文标题**：DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning
|
||||
> **arXiv**：[2511.22570](https://arxiv.org/abs/2511.22570) ｜ **发布**：27 Nov 2025
|
||||
> **作者/机构**：Zhihong Shao、Yuxiang Luo、Chengda Lu、Z.Z. Ren 等，DeepSeek-AI（深度求索）
|
||||
> **原文 PDF**：[02-DeepSeekMath-V2-2511.22570.pdf](./02-DeepSeekMath-V2-2511.22570.pdf)
|
||||
|
||||
## 一、摘要（全文翻译）
|
||||
|
||||
大语言模型在数学推理上已取得显著进展，而数学推理既是人工智能的重要试验场，若进一步推进还可能影响科学研究。通过以「奖励正确最终答案」的强化学习来扩展推理能力，大语言模型在一年之内便从表现不佳提升到在 AIME、HMMT 这类定量推理竞赛上趋于饱和。然而，这一路线面临根本性限制：追求更高的最终答案准确率并未解决一个关键问题——正确的答案并不保证正确的推理；此外，许多数学任务（如定理证明）需要严格的逐步推导而非数值答案，最终答案奖励在这些任务上并不适用。为了推进深度推理的极限，我们认为有必要验证数学推理的完备性与严谨性。自验证对于扩展测试时计算（test-time compute）尤为重要，尤其是在没有已知解的开放问题上。面向可自验证的数学推理，我们研究了如何为定理证明训练一个准确且忠实的基于大语言模型的验证器。随后，我们以该验证器作为奖励模型训练一个证明生成器，并激励生成器在最终给出答案前尽可能多地识别并解决自身证明中的问题。为了在生成器变强的同时维持「生成—验证差距」（generation-verification gap），我们提出扩展验证计算量来自动标注新的、难以验证的证明，从而生成训练数据以进一步改进验证器。由此得到的模型 DeepSeekMath-V2 展现出强大的定理证明能力：在扩展测试时计算量的条件下，它在 IMO 2025 与 CMO 2024 上取得金牌级分数，并在 Putnam 2024 上取得近乎完美的 118/120。虽然仍有大量工作要做，但这些结果表明，可自验证的数学推理是一个可行方向，可能有助于发展能力更强的数学人工智能系统。
|
||||
|
||||
## 二、核心贡献
|
||||
|
||||
1. **用「验证推理过程」替代「奖励最终答案」**：指出最终答案奖励的两个根本缺陷（正确答案可能源自错误推理；定理证明没有数值答案），转而对证明的完备性与严谨性建模，把奖励信号建立在证明质量本身之上。
|
||||
2. **训练出准确且忠实的证明验证器，并以元验证（meta-verification）消除幻觉问题**：验证器按三级评分（1 / 0.5 / 0）输出「问题清单 + 分数」；再用元验证器审查清单中的问题是否真实存在、是否足以支撑所给分数，使验证器分析的平均质量分从 0.85 升至 0.96，而分数预测准确率不变。
|
||||
3. **让证明生成器具备真正的自验证能力**：训练时要求生成器在给出证明后附上按同一评分标准写的自评，并用验证器同时评判「证明分数」与「自评分数的元验证分数」，使「先自查再收尾」成为获取高奖励的最优策略，而非盲目试错。
|
||||
4. **构建验证器与生成器互相促进的自动迭代闭环**：生成器变强后会产生验证器难以判定的新证明；通过扩展验证采样（$n$ 份分析 + $m$ 次元验证 + 至少 $k$ 份有效分析才采纳最低分）自动标注这些困难样本，最后两轮迭代完全取代人工标注。
|
||||
5. **在竞赛数学上取得金牌级结果**：IMO 2025 解出 6 题中的 5 题、CMO 2024 解出 4 题并另有 1 题获部分分，Putnam 2024 得 118/120（超过人类参赛者最高分 90）；IMO-ProofBench 基础集超过 DeepMind DeepThink（IMO 金牌），进阶集保持竞争力。
|
||||
|
||||
## 三、方法与技术要点
|
||||
|
||||
### 3.1 训练证明验证器：先给「问题清单」，再给分数
|
||||
|
||||
论文先制定高层次的证明评估量规（rubric）$\mathcal{I}_{v}$，让验证器复现数学专家的评审方式。给定问题 $X$ 与证明 $Y$，验证器 $\pi_{\varphi}(\cdot \mid X, Y, \mathcal{I}_{v})$ 先总结发现的问题（如有），再给出三级评分：**1 分**为完全正确、所有步骤清晰论证；**0.5 分**为整体逻辑成立但有轻微错误或细节缺失；**0 分**为存在致命逻辑错误或关键缺口。
|
||||
|
||||
冷启动数据分三步：从 Art of Problem Solving（AoPS）竞赛爬取 17,503 道明确要求证明的题目（优先数学奥林匹克、国家队选拔赛与 2010 年后题目），记为 $\mathcal{D}_{p}$；用 DeepSeek-V3.2-Exp-Thinking 的一个变体多轮迭代生成候选证明（该模型未针对定理证明优化，输出简洁但易出错）；再由专家按量规打分，得到初始 RL 数据集 $\mathcal{D}_{v}=\{(X_{i},Y_{i},s_{i})\}$，$s_{i}\in\{0,0.5,1\}$。
|
||||
|
||||
验证器在 DeepSeek-V3.2-Exp-SFT 上用强化学习训练，奖励由两部分相乘：**格式奖励** $R_{\text{format}}$ 检查回复是否含有关键句「Here is my evaluation of the solution:」以及「Based on my evaluation, the final overall score should be:」之后 `\boxed{}` 内的分数；**分数奖励** $R_{\text{score}}$ 衡量预测分数与标注分数的接近程度：
|
||||
|
||||
$$R_{\text{score}}(s_{i}',s_{i}) = 1 - |s_{i}' - s_{i}|$$
|
||||
|
||||
优化目标为：
|
||||
|
||||
$$\max_{\pi_{\varphi}} \mathbb{E}_{(X_{i},Y_{i},s_{i})\sim\mathcal{D}_{v},\ (V_{i}',s_{i}')\sim\pi_{\varphi}(\cdot|X_{i},Y_{i})}\left[R_{\text{format}}(V_{i}')\cdot R_{\text{score}}(s_{i}',s_{i})\right]$$
|
||||
|
||||
其中 $V_{i}'$ 是验证器的完整回复，$s_{i}'$ 是从中抽取的分数（下同）。
|
||||
|
||||
### 3.2 元验证：为什么必须审查验证器自己说的问题
|
||||
|
||||
该目标只监督「分数是否对」，对「指出的问题是否真实」无任何直接监督，因此存在关键漏洞：评估有缺陷的证明（$s_{i}<1$）时，验证器只要分数猜对，就能一边拿满分一边**幻觉出不存在的问题**，可信度随之崩塌。
|
||||
|
||||
为此论文引入**元验证（meta-verification）**：由第二个评审过程判断验证器指出的问题是否确实存在、以及按量规 $\mathcal{I}_{v}$ 是否足以支撑其给出的分数（完整量规 $\mathcal{I}_{mv}$ 见附录 A.3）。元验证器同样用 RL 训练：由专家按 $\mathcal{I}_{mv}$ 给验证器回复的质量打分，构成 $\mathcal{D}_{mv}=\{(X_{i},Y_{i},V_{i},ms_{i})\}$，$ms_{i}\in\{0,0.5,1\}$；再训练 $\pi_{\eta}(\cdot\mid X,Y,V,\mathcal{I}_{mv})$ 分析验证器的分析 $V$，其输出同样是「问题总结 + 质量分」，目标结构与验证器一致。
|
||||
|
||||
把元验证反馈并入验证器奖励：$R_{V} = R_{\text{format}} \cdot R_{\text{score}} \cdot R_{\text{meta}}$。增强后的验证器同时在 $\mathcal{D}_{v}$ 与 $\mathcal{D}_{mv}$ 上训练（$\mathcal{D}_{mv}$ 上沿用训练元验证器的奖励机制），因此同一模型既能做证明验证也能做元验证。在 $\mathcal{D}_{v}$ 验证集上，验证器分析的平均质量分从 **0.85 升至 0.96**，分数预测准确率保持不变。
|
||||
|
||||
### 3.3 训练证明生成器：把验证器当奖励模型
|
||||
|
||||
以验证器 $\pi_{\varphi}$ 作为生成式奖励模型，训练证明生成器 $\pi_{\theta}(\cdot\mid X)$：
|
||||
|
||||
$$\max_{\pi_{\theta}} \mathbb{E}_{X_{i}\sim\mathcal{D}_{p},\ Y_{i}\sim\pi_{\theta}(\cdot|X_{i})}[R_{Y}]$$
|
||||
|
||||
其中 $R_{Y}$ 即 $\pi_{\varphi}(\cdot\mid X_{i},Y_{i},\mathcal{I}_{v})$ 给出的证明分数。
|
||||
|
||||
### 3.4 自验证：让生成器「明牌」地最大化自己的奖励
|
||||
|
||||
论文观察到一个关键限制：要求生成器一次性「既写证明又自我分析」时，它倾向声称自己正确，哪怕外部验证器一眼就能找出漏洞——它能据外部反馈修改证明，却不能以验证器的严格程度评估自己的作品。
|
||||
|
||||
于是训练时要求生成器在写出证明 $Y$ 后，附上遵循同一格式与量规的自分析 $Z$，自评分数记为 $s'$。为保证自评忠实，由验证器同时评估两部分：证明得 $R_{Y}=s$，自分析得元验证分 $R_{\text{meta}}(Z)=ms$。总奖励为：
|
||||
|
||||
$$R = R_{\text{format}}(Y,Z)\cdot(\alpha\cdot R_{Y} + \beta\cdot R_{Z}),\qquad R_{Z} = R_{\text{score}}(s',s)\cdot R_{\text{meta}}(Z)$$
|
||||
|
||||
论文取 $\alpha = 0.76$、$\beta = 0.24$。该结构产生三个激励：如实承认错误优于谎称正确；最高奖励来自「写出正确证明并准确认识其严谨程度」；因此最优策略是在收尾前尽可能多地识别并解决问题。用论文的话说，这是让模型**明确意识到自己的奖励函数，并通过深思熟虑的推理而非盲目试错去最大化它**。
|
||||
|
||||
### 3.5 验证与生成的协同：用验证算力自动标注困难样本
|
||||
|
||||
验证器提升生成器，生成器变强后又产出挑战验证器能力的新证明，形成可持续循环。瓶颈是标注：需为新证明标注正确性，而人工标注随题目变难、错误变隐蔽而愈发昂贵。论文先让验证器对同一证明生成多份分析以「浮出」潜在问题供人审阅，并确认两件事：**扩展验证采样次数能提高在错误证明中抓到真实问题的概率**；「审查验证器指出的问题」本身就是元验证，比从零发现问题更容易。
|
||||
|
||||
据此设计全自动标注流程：① 对每份证明生成 $n$ 份独立验证分析；② 对报告有问题（0 或 0.5 分）的分析再生成 $m$ 份元验证评估，多数确认其结论则该分析有效；③ 对每份证明检查给出最低分的分析，若至少 $k$ 份有效，则用该最低分打标；若所有尝试都未发现合法问题则标为 1；否则丢弃或转交专家标注。论文最后两轮迭代中，这条流水线完全取代了人工标注，质量检查显示自动标签与专家判断吻合良好。
|
||||
|
||||
### 3.6 训练流程与评测设置
|
||||
|
||||
训练采用组相对策略优化（Group Relative Policy Optimization, GRPO），迭代优化证明验证与生成。每轮迭代先优化验证；生成器再从验证器检查点初始化并针对证明生成优化。从第二轮起，验证器改由一个「经拒绝式微调（rejection fine-tuning）整合了上一轮验证与生成两种能力」的检查点初始化。
|
||||
|
||||
评测基准包括：内部 CNML 级问题（91 道证明题：代数 13、几何 24、数论 19、组合 24、不等式 11，难度与中国高中数学联赛相当）；IMO 2025（6 题）；CMO 2024（6 题）；Putnam 2024（12 题）；ISL 2024（IMO 短名单，31 题）；IMO-ProofBench（60 题，DeepMind 团队开发，分基础集与进阶集各 30 题）。
|
||||
|
||||
## 四、主要实验结果
|
||||
|
||||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||||
|---|---|---|---|
|
||||
| 内部 CNML 级问题（单次生成） | 在所有类别（代数、几何、数论、组合、不等式）上一致领先 | GPT-5-Thinking-High、Gemini 2.5-Pro | 每题生成 8 份证明样本，用最终验证器的 8 次验证分析多数投票判定正确性；论文未给出逐项具体数值 |
|
||||
| IMO 2025（高算力搜索） | 6 题解出 5 题，占该 5 题总分 83.3% | — | 金牌级表现 |
|
||||
| CMO 2024（高算力搜索） | 6 题解出 4 题并另 1 题获部分分，占该 5 题总分 73.8% | — | 金牌级表现 |
|
||||
| Putnam 2024（高算力搜索） | 118/120（12 题中 11 题完全解出、1 题有轻微错误） | 人类参赛者最高分 90 | 按所计 6 题折算为 98.3% |
|
||||
| IMO-ProofBench 基础集 / 进阶集 | 基础集超过 DeepThink（IMO Gold），进阶集保持竞争力、显著优于其他基线 | DeepMind DeepThink、其他基线 | 本模型由作者方专家按同一评分指南评判，其余结果取自 Luong et al. (2025) |
|
||||
| IMO Shortlist 2024（顺序精修） | Pass@1 随最大迭代次数（1→8）显著提升；Best@32 明显高于线程平均分 | 自身（1 次生成、无精修） | 每题 32 条独立精修线程；正确性由 32 次验证分析多数投票判定 |
|
||||
| 验证器分析质量（内部验证集） | 0.85 → 0.96 | 加入元验证前 | 分数预测准确率保持不变 |
|
||||
|
||||
总体上，DeepSeekMath-V2 在最难的竞赛证明题上领先：高算力搜索下 IMO 2025 与 CMO 2024 均达金牌水平，Putnam 2024 的 118/120 超过人类最高分 90；单次生成下在各类 CNML 级问题上一致优于 GPT-5-Thinking-High 与 Gemini 2.5-Pro。论文同时指出的差距是：**最难的 IMO 级问题仍然棘手**，未完全解出的题目往往卡在若干真实存在的问题；且高算力搜索依赖 64 份候选证明、每题 64 次验证与至多 16 轮精修，单次生成还受 128K token 长度限制。
|
||||
|
||||
## 五、结论、局限与影响
|
||||
|
||||
- **结论**：DeepSeekMath-V2 既能生成也能验证数学证明。通过训练模型识别自身推理中的问题、并激励其在收尾前解决，它超越了基于最终答案的奖励，走向可自验证的数学推理；验证与生成能力交替迭代，构成相互驱动的循环。四项关键技术贡献为：(1) 训练出准确且忠实的基于大语言模型的证明验证器；(2) 用元验证大幅减少幻觉问题、保障验证质量；(3) 通过自验证激励生成器最大化证明质量；(4) 扩展验证计算量以自动标注越来越难验证的证明，从而在无人工标注的情况下改进验证器。
|
||||
- **局限性**：论文自述「仍有重大挑战」；最难的 IMO 级问题依然难以攻克；难以验证的新证明在早期迭代中仍需人工标注（仅最后两轮迭代实现全自动标注）；单次生成受 128K token 限制，长证明需多轮顺序精修；极高成绩来自扩展测试时计算（大量采样、验证与精修），并非单次推理即可达成。其余细节（如模型参数量）论文未明确说明。
|
||||
- **影响**：论文把「自然语言证明的可验证性」作为独立研究目标，证明大语言模型可为复杂推理发展出有意义的自我评估能力。其潜在影响一是让生成器内化奖励函数、以推理而非盲试提升质量；二是自动标注闭环为难以自动验证的证明提供可扩展的数据来源；三是作者认为推进自然语言定理证明将显著有利于形式化推理（Lean、Isabelle 等），并希望最终走向结合非形式化洞见与形式化保证的可靠数学推理系统，服务研究级数学。
|
||||
|
||||
## 六、关键术语对照表
|
||||
|
||||
| English | 中文 |
|
||||
|---|---|
|
||||
| Self-Verifiable Mathematical Reasoning | 可自验证的数学推理 |
|
||||
| Proof Verification | 证明验证 |
|
||||
| Proof Generator | 证明生成器 |
|
||||
| Verifier | 验证器 |
|
||||
| Meta-Verification | 元验证 |
|
||||
| Meta-Verifier | 元验证器 |
|
||||
| Generation-Verification Gap | 生成—验证差距 |
|
||||
| Proof Analysis / Identified Issues | 证明分析 / 所识别的问题 |
|
||||
| Rubrics | 评估量规（评分标准） |
|
||||
| Score Reward / Format Reward | 分数奖励 / 格式奖励 |
|
||||
| Self-Verification / Self-Analysis | 自验证 / 自分析 |
|
||||
| Sequential Refinement | 顺序精修 |
|
||||
| High-Compute Search | 高算力搜索 |
|
||||
| Scaled Test-Time Compute | 扩展的测试时计算 |
|
||||
| Generative Reward Model | 生成式奖励模型 |
|
||||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||||
| Rejection Fine-Tuning | 拒绝式微调 |
|
||||
| Pass@1 / Best@32 | 单次通过均分 / 32 次中最佳 |
|
||||
| Automated Labeling | 自动标注 |
|
||||
Binary file not shown.
Reference in New Issue
Block a user