113 lines
14 KiB
Markdown
113 lines
14 KiB
Markdown
# DeepSeek-R1：通过强化学习激励大语言模型的推理能力
|
||
|
||
> **原文标题**：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
|
||
> **arXiv**：[2501.12948](https://arxiv.org/abs/2501.12948) ｜ **发布**：22 Jan 2025（最后修订 4 Jan 2026，v2）
|
||
> **作者/机构**：DeepSeek-AI（核心贡献者：Daya Guo、Dejian Yang、Haowei Zhang、Junxiao Song、Peiyi Wang、Qihao Zhu、Runxin Xu、Ruoyu Zhang、Shirong Ma、Xiao Bi、Xiaokang Zhang、Xingkai Yu、Yu Wu、Z.F. Wu、Zhibin Gou、Zhihong Shao、Zhuoshu Li、Ziyi Gao 等）
|
||
> **原文 PDF**：[01-DeepSeek-R1-2501.12948.pdf](./01-DeepSeek-R1-2501.12948.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
通用推理（general reasoning）是人工智能领域中一个长期存在且极为艰巨的挑战。近期的突破——以大语言模型（LLMs）（Brown et al., 2020; OpenAI, 2023）和思维链提示（chain-of-thought prompting）（Wei et al., 2022b）为代表——已在基础推理任务上取得了相当可观的成功。然而，这一成功在很大程度上取决于大量由人工标注的示范数据，而且对于更复杂的问题，模型的能力仍然不足。
|
||
|
||
在此我们表明，大语言模型的推理能力可以通过纯强化学习（pure reinforcement learning, RL）被激励出来，从而无需人工标注的推理轨迹。所提出的 RL 框架促进了高级推理模式的涌现式发展，例如自我反思（self-reflection）、验证（verification）与动态策略调整（dynamic strategy adaptation）。因此，训练所得的模型在诸如数学、编程竞赛和 STEM 领域等可验证任务上取得了优越的性能，超过了那些通过基于人工示范的传统监督学习方式训练的同类模型。此外，这些大规模模型所展现出的涌现推理模式，可以被系统性地加以利用，用以引导并增强更小模型的推理能力。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **纯 RL 即可激励推理**：DeepSeek-R1-Zero 跳过监督微调（SFT），直接在 DeepSeek-V3-Base 上做强化学习，仅以答案正确性为奖励，AIME 2024 的 pass@1 从 15.6% 升至 77.9%，配合自一致性解码达 86.7%，远超人类参赛者平均分。可见预训练基座已蕴含复杂推理潜力，关键在于难题、可靠验证器与充足算力，而非人工标注。
|
||
|
||
2. **推理行为的自我进化**：训练中思考长度自然增长，模型自发涌现反思、验证、回溯与多路径探索；「wait」一词频率突增构成所谓 aha moment——不必教它如何解题，只要给出正确激励即可。
|
||
|
||
3. **多阶段流水线产出 DeepSeek-R1**：以数千条冷启动数据 + 推理型 RL + 拒绝采样 SFT（约 800K）+ 通用型 RL，修复 R1-Zero 可读性差、中英混杂、写作与开放域问答弱的问题；AIME 2024 达 79.8%、MATH-500 达 97.3%，数学与算法编程追平 OpenAI o1-1217。
|
||
|
||
4. **强推理可蒸馏进小模型**：以 800K R1 生成数据对 Qwen、Llama 系列做纯 SFT，1.5B 模型在数学基准上即超过 GPT-4o 与 Claude-3.5-Sonnet；32B 蒸馏模型全面优于同基座做大规模 RL 得到的 Qwen2.5-32B-Zero。
|
||
|
||
5. **开源与失败经验共享**：以 MIT 许可开放 R1、R1-Zero 及 6 个蒸馏模型权重与推理代码，并公开过程奖励模型（PRM）与蒙特卡洛树搜索（MCTS）两条路线的失败教训。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 GRPO：去掉价值模型的组相对策略优化
|
||
|
||
论文采用组相对策略优化（Group Relative Policy Optimization, GRPO）。对每个问题 $q$ 采样一组输出并最大化：
|
||
|
||
$$\mathcal{J}_{GRPO}(\theta)=\mathbb{E}\Big[\tfrac{1}{G}\sum_{i=1}^{G}\Big(\min\big(\tfrac{\pi_{\theta}(o_{i}|q)}{\pi_{\theta_{old}}(o_{i}|q)}A_{i},\ \text{clip}(\cdot,1-\varepsilon,1+\varepsilon)A_{i}\big)-\beta\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})\Big)\Big]$$
|
||
|
||
$$\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})=\frac{\pi_{ref}}{\pi_{\theta}}-\log\frac{\pi_{ref}}{\pi_{\theta}}-1,\qquad A_{i}=\frac{r_{i}-\mathrm{mean}(\{r_{1},\cdots,r_{G}\})}{\mathrm{std}(\{r_{1},\cdots,r_{G}\})}$$
|
||
|
||
优势 $A_i$ 由组内奖励标准化直接得到，无需价值模型；PPO 则要用 GAE 并额外训练一个与策略模型同量级的值模型，显存与算力开销大，且「从部分响应预测最终奖励」在模型会反思、改写甚至推翻前文的长思维链场景下尤其难学准。KL 的处理也不同：GRPO 把 KL 无偏估计直接放进损失，PPO 作为逐 token 稠密奖励罚项，会隐式惩罚响应长度、阻碍思考变长。实验中 PPO 在 $\lambda=0.95$ 时明显不如 GRPO，调到 $1.0$ 才接近，但需额外调参。
|
||
|
||
### 3.2 奖励设计：只用规则奖励
|
||
|
||
奖励为准确率奖励与格式奖励同权重相加：$Reward_{rule}=Reward_{acc}+Reward_{format}$。准确率奖励用规则校验最终答案（数学题按指定格式如 box 内匹配，编程竞赛题用编译器跑预定义测试用例）；格式奖励强制把推理过程包在 `<think>` 与 `</think>` 之间，以便区分思考与答案。作者刻意不使用神经奖励模型（无论结果型还是过程型）：它们在大规模 RL 中易被 reward hacking，重训又耗费算力并让训练管线更复杂。
|
||
|
||
### 3.3 训练设定与模板
|
||
|
||
模板仅要求先输出推理过程、再给出答案，分置于 `<think>` 与 `<answer>` 标签内，约束只限结构、不涉内容倾向，以便观察自然演化。超参：学习率 3e-6、KL 系数 0.001、采样温度 1；每题采样 16 个输出，8.2k 步前最大长度 32,768 token、之后 65,536；每步 32 个问题即批大小 512；每 400 步用最新策略替换参考模型；每次 rollout 生成 8,192 个输出、切成 16 个 mini-batch 且只做单个内层 epoch。共训练 10,400 步、约 1.6 个 epoch，性能与响应长度恰在 8.2k 步跃升。
|
||
|
||
### 3.4 DeepSeek-R1 的四阶段流水线
|
||
|
||
- **冷启动**：用数千条对话式、人类对齐的长 CoT 数据微调基座作为初始 actor。先由人工把推理轨迹改写为自然对话风格，再让 LLM 批量改写更多数据、经第二轮人工校验。动机偏产品体验：用户更接受第一人称口吻且需要语言一致。
|
||
- **第一阶段 RL（推理导向）**：沿用规则奖励，并加入语言一致性奖励缓解中英混杂，按 CoT 中目标语言词数占比计算 $Reward_{language}=\frac{Num(Words_{target})}{Num(Words)}$；消融显示它略降性能，但更符合人类偏好、可读性更好。论文提醒 clip 比例 $\varepsilon$ 过小会截断大量 token 梯度、过大则训练不稳（本阶段取 10）。
|
||
- **拒绝采样 + SFT（约 800K）**：从第一阶段检查点采样、只保留正确响应，得约 600K 推理样本；复用 V3 管线并补充软件工程数据得约 200K 非推理样本，合计 804,745 条（数学 395,285、代码 211,129、STEM 10,124、逻辑 10,395、通用 177,812）。数据以单轮为主，可能限制多轮对话能力。
|
||
- **第二阶段 RL（通用对齐）**：$Reward=Reward_{reasoning}+Reward_{general}+Reward_{language}$，推理奖励仍为规则奖励，通用奖励为奖励模型分加格式奖励。共 1,700 步，仅在最后 400 步引入通用指令数据与偏好奖励（用更久会 reward hacking），温度降为 0.7。
|
||
|
||
### 3.5 奖励模型
|
||
|
||
**有用性**：以 arena-hard 格式生成偏好对，每对查询 4 次并随机交换 A/B 位置消偏，取均值，仅保留分差 $\Delta>1$ 的样本，并让正负响应长度可比以抑制长度偏置，共 66,000 对（全为非推理问题）；模型结构与 R1 相同，仅加一个预测标量分的 reward head。**安全性**：106,000 条按准则标注 safe/unsafe 的数据，用逐点（point-wise）损失训练。有用性只看最终总结以免干扰推理过程，安全性则覆盖含推理的完整响应。
|
||
|
||
### 3.6 蒸馏策略
|
||
|
||
蒸馏只用 SFT、不含 RL：以 800K R1 数据微调 Qwen2.5-Math-1.5B/7B、Qwen2.5-14B/32B、Llama-3.1-8B、Llama-3.3-70B-Instruct，训练 2–3 个 epoch、批大小 64、最大上下文 32,768 token。作者称加入 RL 本可进一步提升，但本工作意在验证蒸馏本身的有效性，RL 阶段留给社区探索。
|
||
|
||
### 3.7 训练成本与基础设施
|
||
|
||
R1-Zero 用 64×8 张 H800 训练约 198 小时（101K GPU 小时）；R1 训练约 80 小时（41K GPU 小时）；SFT 数据构造 5K GPU 小时；合计 147K H800 GPU 小时、约 29.4 万美元（按每 GPU 小时 2 美元计）。RL 框架分 Rollout、Inference、Rule-based Reward、Training 四个解耦模块，规则奖励用异步调度掩盖校验延迟，训练侧采用按长度排序加 Best-Fit 打包与 DualPipe 流水并行。
|
||
|
||
## 四、主要实验结果
|
||
|
||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||
|---|---|---|---|
|
||
| AIME 2024（Pass@1） | R1 79.8 | o1-1217 79.2 ／ DeepSeek-V3 39.2 ／ GPT-4o 9.3 | 与 o1 持平，远超非推理模型 |
|
||
| MATH-500（Pass@1） | R1 97.3 | o1-1217 96.4 ／ V3 90.2 | 数学推理领先 |
|
||
| CNMO 2024（Pass@1） | R1 78.8 | V3 43.2 ／ o1-mini 67.6 | o1-1217 未报告 |
|
||
| Codeforces（Rating / 百分位） | 2029 / 96.3% | o1-1217 2061 / 96.6% ／ V3 1134 / 58.7% | 略低于 o1，远超 V3 |
|
||
| LiveCodeBench（Pass@1-COT） | R1 65.9 | o1-1217 63.4 ／ o1-mini 53.8 ／ V3 36.2 | 算法编程领先 |
|
||
| SWE Verified（Resolved） | R1 49.2 | o1-1217 48.9 ／ Claude-3.5-Sonnet 50.8 ／ V3 42.0 | 工程任务基本持平 |
|
||
| Aider-Polyglot（Acc.） | R1 53.3 | o1-1217 61.7 ／ V3 49.6 | 工程类编码明显落后 |
|
||
| GPQA Diamond（Pass@1） | R1 71.5 | o1-1217 75.7 ／ V3 59.1 | 研究生级 STEM 尚落后 |
|
||
| MMLU / MMLU-Pro（EM） | 90.8 / 84.0 | o1-1217 91.8 ／ V3 88.5 / 75.9 | 知识与推理均有提升 |
|
||
| AlpacaEval 2.0 / ArenaHard | 87.6 / 92.3 | V3 70.0 / 85.5 | 写作与开放域问答大幅提升 |
|
||
| SimpleQA（Correct） | R1 30.1 | o1-1217 47.0 ／ GPT-4o 38.2 | 事实性短问答是短板 |
|
||
| C-Eval（EM） | R1 91.8 | V3 86.5 ／ Claude-3.5-Sonnet 76.7 | 中文综合能力领先 |
|
||
| AIME 2025 / AMC 12 2024 | R1 11.3/15 ／ 143.7 | o1-1217 12.0/15 ／ 141.0 | USAMO 指数 256.7（门槛 251.5） |
|
||
| 蒸馏 R1-Distill-Qwen-32B | AIME 72.6 / MATH 94.3 / GPQA 62.1 / Codeforces 1691 | Qwen2.5-32B-Zero 47.0 / 91.6 / 55.0 | 蒸馏全面优于同规模纯 RL |
|
||
|
||
推理模型在数学与算法编程上优势压倒性：R1 在 AIME 2024 以 79.8% 追平 o1-1217 的 79.2%，在 Codeforces 超过 96.3% 的人类参赛者，在 2024 年 93 场竞赛共 366 道题上以平均 8,793 个思考 token 达到 61.8% 解决率（GPT-4o 0513 仅 24.7%、平均 711 token）。但在工程类编码（Aider 53.3 对 61.7）、事实性短问答（SimpleQA 30.1 对 47.0）、研究生级 STEM（GPQA Diamond 71.5 对 75.7）与指令遵循（IF-Eval 83.3，低于 Claude-3.5-Sonnet 的 86.5）上仍有差距。成本侧，R1 以约 29.4 万美元投入在 ChatbotArena 风格控制排名中与 o1、Gemini-Exp-1206 并列第一。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：预训练检查点已具备复杂推理的巨大潜力，解锁它的关键不是大规模人工标注，而是**难题 + 可靠验证器 + 充足的 RL 算力**；自我验证、反思等精密行为会在 RL 中自然涌现。RL 与 SFT 缺一不可：纯 RL 在奖励不可靠的任务上会 reward hacking，纯 SFT 则无法通过探索优化推理，故多阶段迭代流水线是必要的。
|
||
- **局限性**（作者自述）：① 结构化输出能力欠佳，且无法调用搜索引擎、计算器等工具；② token 效率仍有优化空间，简单问题上会出现「过度思考」；③ 语言混杂仅针对中英优化，其他语种查询可能被用英文推理作答（源于基座以中英数据为主）；④ 对提示敏感，few-shot 会持续降低性能，推荐零样本直接描述问题并规定输出格式；⑤ 软件工程任务因评测耗时影响 RL 效率而未大规模覆盖，相对 DeepSeek-V3 提升有限；⑥ 纯 RL 方法受限于奖励可靠性，写作等难构建可靠 RM 的任务仍是开放挑战，本工作中靠人工标注造监督数据且只做数百步 RL。此外 SFT 数据以单轮为主，可能限制多轮对话能力（列为未来工作）。
|
||
- **影响**：任何能被验证器有效评估的任务（无论对人类多复杂）都有被纯 RL 攻克的前景；对难以构建可靠奖励模型的任务，如何定义与精炼奖励结构是未来研究重点。工具增强推理（编译器、搜索引擎乃至生化试剂验证）有望显著扩展机器解题的范围与准确度。作者还公开两条失败教训：PRM 难以定义细粒度步骤、中间步正确性难判定、且引入模型化奖励必然招致 reward hacking，收益不抵开销；MCTS 面临 token 生成空间指数级膨胀、价值模型难训练、易陷局部最优，虽能配合预训练价值模型提升推理期表现，但通过自搜索迭代提升模型能力仍是重大挑战。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| Reinforcement Learning (RL) | 强化学习 |
|
||
| Group Relative Policy Optimization (GRPO) | 组相对策略优化 |
|
||
| Proximal Policy Optimization (PPO) | 近端策略优化 |
|
||
| Chain-of-Thought (CoT) | 思维链 |
|
||
| Cold Start | 冷启动 |
|
||
| Rejection Sampling | 拒绝采样 |
|
||
| Supervised Fine-Tuning (SFT) | 监督微调 |
|
||
| Rule-based Reward | 规则奖励 |
|
||
| Reward Hacking | 奖励劫持／奖励作弊 |
|
||
| Process Reward Model (PRM) | 过程奖励模型 |
|
||
| Monte Carlo Tree Search (MCTS) | 蒙特卡洛树搜索 |
|
||
| Self-Reflection / Verification | 自我反思／自我验证 |
|
||
| Distillation | 蒸馏 |
|
||
| Aha Moment | 顿悟时刻 |
|
||
| Language Consistency (LC) Reward | 语言一致性奖励 |
|
||
| Test-time Compute Scaling | 推理期算力扩展 |
|
||
| Self-Consistency Decoding | 自一致性解码 |
|