DeepSeek-R1：通过强化学习激励大语言模型的推理能力

原文标题：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning arXiv：2501.12948 ｜发布：22 Jan 2025（最后修订 4 Jan 2026，v2） 作者/机构：DeepSeek-AI（核心贡献者：Daya Guo、Dejian Yang、Haowei Zhang、Junxiao Song、Peiyi Wang、Qihao Zhu、Runxin Xu、Ruoyu Zhang、Shirong Ma、Xiao Bi、Xiaokang Zhang、Xingkai Yu、Yu Wu、Z.F. Wu、Zhibin Gou、Zhihong Shao、Zhuoshu Li、Ziyi Gao 等） 原文 PDF：01-DeepSeek-R1-2501.12948.pdf

一、摘要（全文翻译）

通用推理（general reasoning）是人工智能领域中一个长期存在且极为艰巨的挑战。近期的突破——以大语言模型（LLMs）（Brown et al., 2020; OpenAI, 2023）和思维链提示（chain-of-thought prompting）（Wei et al., 2022b）为代表——已在基础推理任务上取得了相当可观的成功。然而，这一成功在很大程度上取决于大量由人工标注的示范数据，而且对于更复杂的问题，模型的能力仍然不足。

在此我们表明，大语言模型的推理能力可以通过纯强化学习（pure reinforcement learning, RL）被激励出来，从而无需人工标注的推理轨迹。所提出的 RL 框架促进了高级推理模式的涌现式发展，例如自我反思（self-reflection）、验证（verification）与动态策略调整（dynamic strategy adaptation）。因此，训练所得的模型在诸如数学、编程竞赛和 STEM 领域等可验证任务上取得了优越的性能，超过了那些通过基于人工示范的传统监督学习方式训练的同类模型。此外，这些大规模模型所展现出的涌现推理模式，可以被系统性地加以利用，用以引导并增强更小模型的推理能力。

二、核心贡献

纯 RL 即可激励推理：DeepSeek-R1-Zero 跳过监督微调（SFT），直接在 DeepSeek-V3-Base 上做强化学习，仅以答案正确性为奖励，AIME 2024 的 pass@1 从 15.6% 升至 77.9%，配合自一致性解码达 86.7%，远超人类参赛者平均分。可见预训练基座已蕴含复杂推理潜力，关键在于难题、可靠验证器与充足算力，而非人工标注。
推理行为的自我进化：训练中思考长度自然增长，模型自发涌现反思、验证、回溯与多路径探索；「wait」一词频率突增构成所谓 aha moment——不必教它如何解题，只要给出正确激励即可。
多阶段流水线产出 DeepSeek-R1：以数千条冷启动数据 + 推理型 RL + 拒绝采样 SFT（约 800K）+ 通用型 RL，修复 R1-Zero 可读性差、中英混杂、写作与开放域问答弱的问题；AIME 2024 达 79.8%、MATH-500 达 97.3%，数学与算法编程追平 OpenAI o1-1217。
强推理可蒸馏进小模型：以 800K R1 生成数据对 Qwen、Llama 系列做纯 SFT，1.5B 模型在数学基准上即超过 GPT-4o 与 Claude-3.5-Sonnet；32B 蒸馏模型全面优于同基座做大规模 RL 得到的 Qwen2.5-32B-Zero。
开源与失败经验共享：以 MIT 许可开放 R1、R1-Zero 及 6 个蒸馏模型权重与推理代码，并公开过程奖励模型（PRM）与蒙特卡洛树搜索（MCTS）两条路线的失败教训。

三、方法与技术要点

3.1 GRPO：去掉价值模型的组相对策略优化

论文采用组相对策略优化（Group Relative Policy Optimization, GRPO）。对每个问题 q 采样一组输出并最大化：


\mathcal{J}_{GRPO}(\theta)=\mathbb{E}\Big[\tfrac{1}{G}\sum_{i=1}^{G}\Big(\min\big(\tfrac{\pi_{\theta}(o_{i}|q)}{\pi_{\theta_{old}}(o_{i}|q)}A_{i},\ \text{clip}(\cdot,1-\varepsilon,1+\varepsilon)A_{i}\big)-\beta\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})\Big)\Big]


\mathbb{D}_{KL}(\pi_{\theta}||\pi_{ref})=\frac{\pi_{ref}}{\pi_{\theta}}-\log\frac{\pi_{ref}}{\pi_{\theta}}-1,\qquad A_{i}=\frac{r_{i}-\mathrm{mean}(\{r_{1},\cdots,r_{G}\})}{\mathrm{std}(\{r_{1},\cdots,r_{G}\})}

优势 A_i 由组内奖励标准化直接得到，无需价值模型；PPO 则要用 GAE 并额外训练一个与策略模型同量级的值模型，显存与算力开销大，且「从部分响应预测最终奖励」在模型会反思、改写甚至推翻前文的长思维链场景下尤其难学准。KL 的处理也不同：GRPO 把 KL 无偏估计直接放进损失，PPO 作为逐 token 稠密奖励罚项，会隐式惩罚响应长度、阻碍思考变长。实验中 PPO 在 \lambda=0.95 时明显不如 GRPO，调到 1.0 才接近，但需额外调参。

3.2 奖励设计：只用规则奖励

奖励为准确率奖励与格式奖励同权重相加：$Reward_{rule}=Reward_{acc}+Reward_{format}$。准确率奖励用规则校验最终答案（数学题按指定格式如 box 内匹配，编程竞赛题用编译器跑预定义测试用例）；格式奖励强制把推理过程包在 <think> 与 </think> 之间，以便区分思考与答案。作者刻意不使用神经奖励模型（无论结果型还是过程型）：它们在大规模 RL 中易被 reward hacking，重训又耗费算力并让训练管线更复杂。

3.3 训练设定与模板

模板仅要求先输出推理过程、再给出答案，分置于 <think> 与 <answer> 标签内，约束只限结构、不涉内容倾向，以便观察自然演化。超参：学习率 3e-6、KL 系数 0.001、采样温度 1；每题采样 16 个输出，8.2k 步前最大长度 32,768 token、之后 65,536；每步 32 个问题即批大小 512；每 400 步用最新策略替换参考模型；每次 rollout 生成 8,192 个输出、切成 16 个 mini-batch 且只做单个内层 epoch。共训练 10,400 步、约 1.6 个 epoch，性能与响应长度恰在 8.2k 步跃升。

3.4 DeepSeek-R1 的四阶段流水线

冷启动：用数千条对话式、人类对齐的长 CoT 数据微调基座作为初始 actor。先由人工把推理轨迹改写为自然对话风格，再让 LLM 批量改写更多数据、经第二轮人工校验。动机偏产品体验：用户更接受第一人称口吻且需要语言一致。
第一阶段 RL（推理导向）：沿用规则奖励，并加入语言一致性奖励缓解中英混杂，按 CoT 中目标语言词数占比计算 $Reward_{language}=\frac{Num(Words_{target})}{Num(Words)}$；消融显示它略降性能，但更符合人类偏好、可读性更好。论文提醒 clip 比例 \varepsilon 过小会截断大量 token 梯度、过大则训练不稳（本阶段取 10）。
拒绝采样 + SFT（约 800K）：从第一阶段检查点采样、只保留正确响应，得约 600K 推理样本；复用 V3 管线并补充软件工程数据得约 200K 非推理样本，合计 804,745 条（数学 395,285、代码 211,129、STEM 10,124、逻辑 10,395、通用 177,812）。数据以单轮为主，可能限制多轮对话能力。
第二阶段 RL（通用对齐）：$Reward=Reward_{reasoning}+Reward_{general}+Reward_{language}$，推理奖励仍为规则奖励，通用奖励为奖励模型分加格式奖励。共 1,700 步，仅在最后 400 步引入通用指令数据与偏好奖励（用更久会 reward hacking），温度降为 0.7。

3.5 奖励模型

有用性：以 arena-hard 格式生成偏好对，每对查询 4 次并随机交换 A/B 位置消偏，取均值，仅保留分差 \Delta>1 的样本，并让正负响应长度可比以抑制长度偏置，共 66,000 对（全为非推理问题）；模型结构与 R1 相同，仅加一个预测标量分的 reward head。安全性：106,000 条按准则标注 safe/unsafe 的数据，用逐点（point-wise）损失训练。有用性只看最终总结以免干扰推理过程，安全性则覆盖含推理的完整响应。

3.6 蒸馏策略

蒸馏只用 SFT、不含 RL：以 800K R1 数据微调 Qwen2.5-Math-1.5B/7B、Qwen2.5-14B/32B、Llama-3.1-8B、Llama-3.3-70B-Instruct，训练 2–3 个 epoch、批大小 64、最大上下文 32,768 token。作者称加入 RL 本可进一步提升，但本工作意在验证蒸馏本身的有效性，RL 阶段留给社区探索。

3.7 训练成本与基础设施

R1-Zero 用 64×8 张 H800 训练约 198 小时（101K GPU 小时）；R1 训练约 80 小时（41K GPU 小时）；SFT 数据构造 5K GPU 小时；合计 147K H800 GPU 小时、约 29.4 万美元（按每 GPU 小时 2 美元计）。RL 框架分 Rollout、Inference、Rule-based Reward、Training 四个解耦模块，规则奖励用异步调度掩盖校验延迟，训练侧采用按长度排序加 Best-Fit 打包与 DualPipe 流水并行。

四、主要实验结果

基准 / 任务	本模型	对比对象	说明
AIME 2024（Pass@1）	R1 79.8	o1-1217 79.2 ／ DeepSeek-V3 39.2 ／ GPT-4o 9.3	与 o1 持平，远超非推理模型
MATH-500（Pass@1）	R1 97.3	o1-1217 96.4 ／ V3 90.2	数学推理领先
CNMO 2024（Pass@1）	R1 78.8	V3 43.2 ／ o1-mini 67.6	o1-1217 未报告
Codeforces（Rating / 百分位）	2029 / 96.3%	o1-1217 2061 / 96.6% ／ V3 1134 / 58.7%	略低于 o1，远超 V3
LiveCodeBench（Pass@1-COT）	R1 65.9	o1-1217 63.4 ／ o1-mini 53.8 ／ V3 36.2	算法编程领先
SWE Verified（Resolved）	R1 49.2	o1-1217 48.9 ／ Claude-3.5-Sonnet 50.8 ／ V3 42.0	工程任务基本持平
Aider-Polyglot（Acc.）	R1 53.3	o1-1217 61.7 ／ V3 49.6	工程类编码明显落后
GPQA Diamond（Pass@1）	R1 71.5	o1-1217 75.7 ／ V3 59.1	研究生级 STEM 尚落后
MMLU / MMLU-Pro（EM）	90.8 / 84.0	o1-1217 91.8 ／ V3 88.5 / 75.9	知识与推理均有提升
AlpacaEval 2.0 / ArenaHard	87.6 / 92.3	V3 70.0 / 85.5	写作与开放域问答大幅提升
SimpleQA（Correct）	R1 30.1	o1-1217 47.0 ／ GPT-4o 38.2	事实性短问答是短板
C-Eval（EM）	R1 91.8	V3 86.5 ／ Claude-3.5-Sonnet 76.7	中文综合能力领先
AIME 2025 / AMC 12 2024	R1 11.3/15 ／ 143.7	o1-1217 12.0/15 ／ 141.0	USAMO 指数 256.7（门槛 251.5）
蒸馏 R1-Distill-Qwen-32B	AIME 72.6 / MATH 94.3 / GPQA 62.1 / Codeforces 1691	Qwen2.5-32B-Zero 47.0 / 91.6 / 55.0	蒸馏全面优于同规模纯 RL

推理模型在数学与算法编程上优势压倒性：R1 在 AIME 2024 以 79.8% 追平 o1-1217 的 79.2%，在 Codeforces 超过 96.3% 的人类参赛者，在 2024 年 93 场竞赛共 366 道题上以平均 8,793 个思考 token 达到 61.8% 解决率（GPT-4o 0513 仅 24.7%、平均 711 token）。但在工程类编码（Aider 53.3 对 61.7）、事实性短问答（SimpleQA 30.1 对 47.0）、研究生级 STEM（GPQA Diamond 71.5 对 75.7）与指令遵循（IF-Eval 83.3，低于 Claude-3.5-Sonnet 的 86.5）上仍有差距。成本侧，R1 以约 29.4 万美元投入在 ChatbotArena 风格控制排名中与 o1、Gemini-Exp-1206 并列第一。

五、结论、局限与影响

结论：预训练检查点已具备复杂推理的巨大潜力，解锁它的关键不是大规模人工标注，而是难题 + 可靠验证器 + 充足的 RL 算力；自我验证、反思等精密行为会在 RL 中自然涌现。RL 与 SFT 缺一不可：纯 RL 在奖励不可靠的任务上会 reward hacking，纯 SFT 则无法通过探索优化推理，故多阶段迭代流水线是必要的。
局限性（作者自述）：① 结构化输出能力欠佳，且无法调用搜索引擎、计算器等工具；② token 效率仍有优化空间，简单问题上会出现「过度思考」；③ 语言混杂仅针对中英优化，其他语种查询可能被用英文推理作答（源于基座以中英数据为主）；④ 对提示敏感，few-shot 会持续降低性能，推荐零样本直接描述问题并规定输出格式；⑤ 软件工程任务因评测耗时影响 RL 效率而未大规模覆盖，相对 DeepSeek-V3 提升有限；⑥ 纯 RL 方法受限于奖励可靠性，写作等难构建可靠 RM 的任务仍是开放挑战，本工作中靠人工标注造监督数据且只做数百步 RL。此外 SFT 数据以单轮为主，可能限制多轮对话能力（列为未来工作）。
影响：任何能被验证器有效评估的任务（无论对人类多复杂）都有被纯 RL 攻克的前景；对难以构建可靠奖励模型的任务，如何定义与精炼奖励结构是未来研究重点。工具增强推理（编译器、搜索引擎乃至生化试剂验证）有望显著扩展机器解题的范围与准确度。作者还公开两条失败教训：PRM 难以定义细粒度步骤、中间步正确性难判定、且引入模型化奖励必然招致 reward hacking，收益不抵开销；MCTS 面临 token 生成空间指数级膨胀、价值模型难训练、易陷局部最优，虽能配合预训练价值模型提升推理期表现，但通过自搜索迭代提升模型能力仍是重大挑战。

六、关键术语对照表

English	中文
Reinforcement Learning (RL)	强化学习
Group Relative Policy Optimization (GRPO)	组相对策略优化
Proximal Policy Optimization (PPO)	近端策略优化
Chain-of-Thought (CoT)	思维链
Cold Start	冷启动
Rejection Sampling	拒绝采样
Supervised Fine-Tuning (SFT)	监督微调
Rule-based Reward	规则奖励
Reward Hacking	奖励劫持／奖励作弊
Process Reward Model (PRM)	过程奖励模型
Monte Carlo Tree Search (MCTS)	蒙特卡洛树搜索
Self-Reflection / Verification	自我反思／自我验证
Distillation	蒸馏
Aha Moment	顿悟时刻
Language Consistency (LC) Reward	语言一致性奖励
Test-time Compute Scaling	推理期算力扩展
Self-Consistency Decoding	自一致性解码

14 KiB Raw Permalink Blame History Unescape Escape