125 lines
13 KiB
Markdown
125 lines
13 KiB
Markdown
# DeepSeek-GRM：面向通用奖励建模的推理时扩展
|
||
|
||
> **原文标题**：Inference-Time Scaling for Generalist Reward Modeling
|
||
> **arXiv**：[2504.02495](https://arxiv.org/abs/2504.02495) ｜ **发布**：3 Apr 2025（v1），25 Sep 2025（v3）
|
||
> **作者/机构**：Zijun Liu、Peiyi Wang、Runxin Xu、Shirong Ma、Chong Ruan、Peng Li、Yang Liu、Yu Wu（DeepSeek-AI（深度求索），联合清华大学 AIR / 计算机系）
|
||
> **原文 PDF**：[02-DeepSeek-GRM-2504.02495.pdf](./02-DeepSeek-GRM-2504.02495.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
强化学习（Reinforcement Learning, RL）已被大规模地广泛用于大语言模型（Large Language Model, LLM）的后训练。近来，通过强化学习激励大语言模型的推理能力这一做法表明，恰当的学习方法能够带来有效的推理时可扩展性（inference-time scalability）。强化学习的一个关键挑战在于：如何在可验证问题或人工规则之外的各类领域中，为 LLM 获取准确的奖励信号。在本工作中，我们研究如何用更多推理算力来改进通用查询上的奖励建模（Reward Modeling, RM），即通用奖励模型（generalist RM）的推理时可扩展性。在奖励建模方法上，我们采用逐点（pointwise）生成式奖励建模（Generative Reward Modeling, GRM），以支持对不同输入类型的灵活性以及推理时扩展的潜力。在学习方法上，我们提出自原则批判微调（Self-Principled Critique Tuning, SPCT），通过在线强化学习在 GRM 中培育可扩展的奖励生成行为，使其能够自适应地生成原则（principles）并准确地生成批判（critiques），从而得到 DeepSeek-GRM 系列模型。此外，为实现有效的推理时扩展，我们使用并行采样来扩大算力使用，并引入一个元奖励模型（meta RM）来引导投票过程，以获得更好的扩展表现。实验上，我们表明 SPCT 显著提升了 GRM 的质量与可扩展性，在多个奖励模型基准上超越了现有方法与模型且没有严重偏差，并且相比训练时扩展（training-time scaling）能够取得更好的性能。DeepSeek-GRM 在某些任务上仍面临挑战，我们相信这些挑战可以通过未来在通用奖励系统方面的努力加以解决。模型已在 Hugging Face 与 ModelScope 上发布。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **提出 SPCT**：把「生成原则」与「生成批判」统一进奖励生成流程，用基于规则的在线强化学习同时优化二者，得到 DeepSeek-GRM，解决通用领域奖励标准多样、缺少显式参考答案的痛点。
|
||
2. **用 meta RM 引导投票**：在朴素投票之上加一个逐点标量奖励模型，识别哪些采样轨迹的原则与批判正确，以滤掉低质量样本、放大扩展收益。
|
||
3. **验证逐点 GRM 两大优势**：以纯语言表示统一支持单条、成对、多条回复打分，同一输入还能采样出不同奖励集合，解决标量 RM 无法扩展、成对 RM 无法给单条回复打分的问题。
|
||
4. **推理时扩展可优于训练时扩展**：27B 模型 32 次采样投票可达 671B MoE 水平，meta RM 引导只用 8 次采样即最佳。
|
||
5. **揭示自我引导机理**：预实验显示自生成原则几乎无收益、过滤后原则提升显著，说明模型缺的只是「哪些原则恰当」的信号——这正是在线 RL 的立足点。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 为什么选择逐点生成式奖励建模
|
||
|
||
论文把奖励模型方法拆成两个正交维度：**奖励生成范式**（标量 scalar、半标量 semi-scalar、生成式 generative）与**打分模式**（逐点 pointwise、成对 pairwise）。给定查询 $x$ 与回复 $\{y_i\}_{i=1}^n$：
|
||
|
||
$$
|
||
\mathcal{R}=\begin{cases}\bm{S}&\text{(Scalar)}\\ (\bm{S},\bm{C})&\text{(Semi-Scalar)}\\ \bm{C}&\text{(Generative)}\end{cases}\sim r_{\theta}\left(x,\{y_i\}_{i=1}^n\right)
|
||
$$
|
||
|
||
逐点模式为每条回复单独给分 $\{S_i\}_{i=1}^n=f_{\mathrm{point}}(\mathcal{R},\{y_i\}_{i=1}^n)$，成对模式只挑出唯一最优回复 $\hat{y}=f_{\mathrm{pair}}(\mathcal{R},\{y_i\}_{i=1}^n)$。
|
||
|
||
这一组合决定了两件事：能否做基于采样的推理时扩展、能否灵活接受不同输入。标量 RM（如 Bradley-Terry 模型）对同一输入几乎生成不变奖励，采样无多样性，基本无法扩展；成对 RM 在 $n=1$ 时无法工作，多回复也需额外技巧，且不允许平局、缺量化分数。论文因此选「生成式 + 逐点」，从文本奖励中抽取离散分数（默认 $S_i\in\mathbb{N},\,1\le S_i\le 10$）。
|
||
|
||
### 3.2 用原则替代人工规则：一个关键预实验
|
||
|
||
通用领域奖励标准多样、没有显式参考，论文借鉴 Constitutional AI 用「原则」（principles）代替人工规则引导奖励生成：$\mathcal{R}=\bm{C}\sim r_{\theta}(x,\{y_i\}_{i=1}^n,\{p_i\}_{i=1}^m)$。预实验在 Reward Bench 的 Chat Hard 与 PPE 的 IFEval 子集上用 GPT-4o-2024-08-06 生成原则并做四次逐点打分，再过滤出「奖励判断正确」的原则。
|
||
|
||
结论十分非平凡：**自生成原则几乎无提升**（GPT-4o 76.1→75.9，Gemma-2-27B-it 59.1→64.0），**过滤后的原则提升显著**（77.8 与 68.0；IFEval 上 57.5 与 57.3）。这说明 LLM 能生成多样原则但并非都适合奖励判断，而正确原则的子集能按正确标准引导奖励生成，具备自我引导（self-bootstrapping）潜力——只要信号指出哪些原则恰当，模型便能从自生成原则中学习，这正是引入在线 RL 的立足点。
|
||
|
||
### 3.3 SPCT 第一阶段：把原则从「理解」解绑到「生成」
|
||
|
||
难点在于规模化通用奖励建模下难以预先造出有效原则，论文遂把原则视为奖励生成过程的一部分：
|
||
|
||
$$
|
||
\{p_i\}_{i=1}^m\sim p_{\theta}\left(x,\{y_i\}_{i=1}^n\right),\quad \mathcal{R}=\bm{C}\sim r_{\theta}\left(x,\{y_i\}_{i=1}^n,\{p_i\}_{i=1}^m\right)
|
||
$$
|
||
|
||
即两个函数共享同一模型（共用同一个语言头）。原则能依查询与回复自适应产生，质量与粒度可经后训练提升；规模化生成原则正是推理时扩展获得更细粒度奖励的前提。
|
||
|
||
第一阶段是**拒绝式微调（Rejective Fine-Tuning, RFT）**冷启动，让 GRM 学会按规定格式、面向各种输入类型生成原则与批判。与以往混用不同格式数据不同，这里统一用逐点格式处理任意条数回复：除通用指令数据外，用预训练 GRM 采样 $N_{\mathrm{RFT}}$ 次轨迹，拒绝预测错误与全部正确的样本。奖励被判为正确的条件是：
|
||
|
||
$$
|
||
\begin{cases}\forall i\neq j,\ S_j>S_i,\ j=\arg\max_l\{r_l\}_{l=1}^n,&\text{if } n\ge 2\\ S_1=r_1,&\text{if } n=1\end{cases}
|
||
$$
|
||
|
||
预训练 GRM 在有限采样配额下对部分样本难以生成正确奖励，故可选地做**提示采样（hinted sampling）**：在输入末尾追加「The best response is: Response ...」，每条只采一次、仅错误时拒绝；但提示采样会让批判「走捷径」，尤其在推理类任务上。
|
||
|
||
### 3.4 SPCT 第二阶段：基于规则的在线强化学习
|
||
|
||
在 RFT 之上用基于规则的在线 RL 继续微调，采用 GRPO 原始设定与基于规则的结果奖励：rollout 时依查询与回复生成原则和批判，抽取预测奖励后按准确性规则与真值比较。与 DeepSeek-R1 式做法不同，**这里不用格式奖励**，而用更大的 KL 惩罚系数保证格式、避免偏差：
|
||
|
||
$$
|
||
\hat{r}_i=\begin{cases}1,&\text{if } n\ge 2 \text{ and } \forall i'\neq j',\ S_{j'}>S_{i'},\ j'=\arg\max_l\{r_l\}_{l=1}^n\\ 1,&\text{if } n=1 \text{ and } S_1=r_1\\ -1,&\text{otherwise}\end{cases}
|
||
$$
|
||
|
||
该奖励鼓励 GRM 用在线优化的原则与批判区分最优回复，有利于推理时扩展；奖励信号可无缝取自任意偏好数据集。
|
||
|
||
### 3.5 推理时扩展：并行采样投票与元奖励模型引导
|
||
|
||
推理时算力通过并行采样扩大，温度 0.5。逐点 GRM 的投票即分数求和：
|
||
|
||
$$
|
||
S_i^{*}=\sum_{j=1}^{k}S_{i,j},\quad \{p_{i,j}\}_{i=1}^{m_j}\sim p_{\theta}\left(x,\{y_i\}_{i=1}^n\right),\ \mathcal{R}_j=\bm{C}_j\sim r_{\theta}\left(x,\{y_i\}_{i=1}^n,\{p_{i,j}\}_{i=1}^{m_j}\right)
|
||
$$
|
||
|
||
单次分数只落在很小的离散区间（如 $\{1,\dots,10\}$），$k$ 次求和把奖励空间扩大 $k$ 倍，并让模型产出大量原则。论文的直觉是：每条原则可视为一个判断视角的代理，原则越多越能逼近真实分布；采样前打乱回复顺序以规避位置偏差。相比之下，半标量 RM 的平均投票方差过小，成对 GRM 的多数投票在无平局、缺定量分数时易偏差。
|
||
|
||
为滤除低质量样本，论文另训了一个**逐点标量 meta RM** 判别原则与批判是否正确（二元交叉熵损失），其数据既含 RFT 阶段非提示采样轨迹，也含待引导模型自身的采样轨迹，以兼顾正负样本并缓解训练与推理策略差距。引导投票很简单：meta RM 为 $k$ 个采样打出 meta 奖励，只用 top-$k_{\mathrm{meta}}$（$\le k$）的样本投票。
|
||
|
||
## 四、主要实验结果
|
||
|
||
评测基准为 Reward Bench（RB）、PPE（Preference 与 Correctness 子集）、RMB，以及单回复场景的 ReaLMistake（ROC-AUC）。基线均在 Gemma-2-27B 上、用与 DeepSeek-GRM 尽可能一致的数据与设置复现。
|
||
|
||
| 基准 / 任务 | 本模型 | 对比对象 | 说明 |
|
||
|---|---|---|---|
|
||
| 四基准平均 Overall（贪心） | DeepSeek-GRM-27B 69.9 | GPT-4o 71.3；Nemotron-4-340B-Reward 70.5；DeepSeek-PairRM-27B 69.0 | 超越全部复现基线，与最强公开 RM 竞争 |
|
||
| 四基准平均 Overall（Voting@32 + MetaRM） | 72.8 | GPT-4o 71.3 | 推理时扩展后取得最佳整体结果 |
|
||
| Reward Bench | 86.0 → 88.5（@32）→ 90.4（MetaRM@32） | Skywork-Reward-Gemma-2-27B 94.1 | 公开标量 RM 在 RB 上更高 |
|
||
| PPE Preference | 64.7 → 67.2（MetaRM@32） | GPT-4o 67.1 | 扩展后略超 GPT-4o |
|
||
| PPE Correctness | 59.8 → 63.2（MetaRM@32） | DeepSeek-BTRM-27B 66.7 | 可验证任务上仍落后标量 RM |
|
||
| RMB | 69.0 → 70.3（MetaRM@32） | GPT-4o 73.8 | 仍存在差距 |
|
||
| ReaLMistake（单回复，ROC-AUC） | 72.2（贪心）；74.4（Voting@8） | GPT-4o-2024-08-06 74.3 | 同尺寸最佳，扩展后与最强公开模型相当 |
|
||
| PPE Correctness 带参考答案 | 91.6 | 无参考时 59.8 | 参考可大幅缓解可验证任务短板 |
|
||
| 推理时扩展 vs 训练时扩展（RB） | 27B 采样 32 次投票 ≈ 671B MoE | — | meta RM 引导 8 次采样即最佳 |
|
||
|
||
消融方面：去掉原则生成使 Overall 从 69.9 降到 67.5（Voting@8 从 70.6 降到 68.0）；即使没有 RFT 冷启动，仅经在线 RL 也能从 66.1 升到 68.7；去掉通用指令数据跌到 63.3；不同 $k_{\mathrm{meta}}$ 下引导投票都稳定有效。
|
||
|
||
总体看，DeepSeek-GRM-27B 在 PPE Preference、RMB 与推理时可扩展性上突出，Voting@32 + MetaRM 下取得最佳整体分数 72.8；但在可验证任务（PPE Correctness）与部分 RMB 场景仍落后于专门的标量 RM 和 GPT-4o，Reward Bench 也不及 Skywork-Reward-Gemma-2-27B（94.1）。论文强调，标量/半标量 RM 虽有强项却偏差严重，SPCT 的价值正在于以更小偏差换取通用能力。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：SPCT 借助基于规则的在线 RL，让 GRM 自适应生成原则与批判，显著提升奖励质量与推理时可扩展性；DeepSeek-GRM 超越复现基线与多个强公开 RM，并在 meta RM 引导下从推理算力中获益。未来方向包括把 GRM 作为奖励系统通用接口接入在线 RL 流水线、与策略模型推理时协同扩展等。
|
||
- **局限性**（作者自述，见附录 B）：(1) **效率**上生成式 RM 天然落后同规模标量 RM，制约其大规模在线 RL 使用（好在并行采样下延迟增加不显著）。(2) 在**可验证任务**等领域仍落后标量模型，可能因为标量 RM 捕捉了推理类样本的隐特征；带参考的奖励生成与长程推理可缓解。(3) 尚未充分探索把 DeepSeek-GRM 用作过程奖励模型。附录 F.2 还显示：失误多源于无法判断过于复杂或特定领域的回复（模式匹配、计数等）、缺乏专家知识、各原则权重失衡；meta RM 也无法完全消除原则与批判不忠实（unfaithful）的风险。
|
||
- **影响**：把奖励模型推进为「以推理算力换性能」的通用奖励接口——扩大模型规模成本过高时，用推理时扩展中等规模 GRM 即可接近更大模型；但奖励生成行为大量来自自我引导，需在 meta RM、偏差缓解与人类监督（human-in-the-loop）上持续投入。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| Reward Modeling (RM) | 奖励建模 |
|
||
| Generalist Reward Model | 通用奖励模型 |
|
||
| Generative Reward Model (GRM) | 生成式奖励模型 |
|
||
| Scalar / Semi-Scalar RM | 标量 / 半标量奖励模型 |
|
||
| Pointwise / Pairwise Scoring | 逐点 / 成对打分 |
|
||
| Bradley-Terry Model (BTRM) | Bradley-Terry 模型 |
|
||
| LLM-as-a-Judge | 大模型作为评判者 |
|
||
| Principle | 原则（判断准则） |
|
||
| Critique | 批判（评述分析） |
|
||
| Self-Principled Critique Tuning (SPCT) | 自原则批判微调 |
|
||
| Rejective Fine-Tuning (RFT) | 拒绝式微调 |
|
||
| Hinted Sampling / Non-Hinted Sampling | 提示采样 / 非提示采样 |
|
||
| Rule-Based Reinforcement Learning | 基于规则的强化学习 |
|
||
| Meta Reward Model (Meta RM) | 元奖励模型 |
|
||
| Inference-Time Scaling | 推理时扩展 |
|