修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

2026-09-21 10:53:11 +08:00
parent f5b825bd4a
commit 19afe00a86
28 changed files with 486 additions and 130 deletions
@@ -27,11 +27,15 @@

 验证器在 DeepSeek-V3.2-Exp-SFT 上用强化学习训练，奖励由两部分相乘：**格式奖励** $R_{\text{format}}$ 检查回复是否含有关键句「Here is my evaluation of the solution:」以及「Based on my evaluation, the final overall score should be:」之后 `\boxed{}` 内的分数；**分数奖励** $R_{\text{score}}$ 衡量预测分数与标注分数的接近程度：

-$$R_{\text{score}}(s_{i}',s_{i}) = 1 - |s_{i}' - s_{i}|$$
+$$
+R_{\text{score}}(s_{i}',s_{i}) = 1 - |s_{i}' - s_{i}|
+$$

 优化目标为：

-$$\max_{\pi_{\varphi}} \mathbb{E}_{(X_{i},Y_{i},s_{i})\sim\mathcal{D}_{v},\ (V_{i}',s_{i}')\sim\pi_{\varphi}(\cdot|X_{i},Y_{i})}\left[R_{\text{format}}(V_{i}')\cdot R_{\text{score}}(s_{i}',s_{i})\right]$$
+$$
+\max_{\pi_{\varphi}} \mathbb{E}_{(X_{i},Y_{i},s_{i})\sim\mathcal{D}_{v},\ (V_{i}',s_{i}')\sim\pi_{\varphi}(\cdot|X_{i},Y_{i})}\left[R_{\text{format}}(V_{i}')\cdot R_{\text{score}}(s_{i}',s_{i})\right]
+$$

 其中 $V_{i}'$ 是验证器的完整回复，$s_{i}'$ 是从中抽取的分数（下同）。

@@ -47,7 +51,9 @@ $$\max_{\pi_{\varphi}} \mathbb{E}_{(X_{i},Y_{i},s_{i})\sim\mathcal{D}_{v},\ (V_{

 以验证器 $\pi_{\varphi}$ 作为生成式奖励模型，训练证明生成器 $\pi_{\theta}(\cdot\mid X)$：

-$$\max_{\pi_{\theta}} \mathbb{E}_{X_{i}\sim\mathcal{D}_{p},\ Y_{i}\sim\pi_{\theta}(\cdot|X_{i})}[R_{Y}]$$
+$$
+\max_{\pi_{\theta}} \mathbb{E}_{X_{i}\sim\mathcal{D}_{p},\ Y_{i}\sim\pi_{\theta}(\cdot|X_{i})}[R_{Y}]
+$$

 其中 $R_{Y}$ 即 $\pi_{\varphi}(\cdot\mid X_{i},Y_{i},\mathcal{I}_{v})$ 给出的证明分数。

@@ -57,7 +63,9 @@ $$\max_{\pi_{\theta}} \mathbb{E}_{X_{i}\sim\mathcal{D}_{p},\ Y_{i}\sim\pi_{\thet

 于是训练时要求生成器在写出证明 $Y$ 后，附上遵循同一格式与量规的自分析 $Z$，自评分数记为 $s'$。为保证自评忠实，由验证器同时评估两部分：证明得 $R_{Y}=s$，自分析得元验证分 $R_{\text{meta}}(Z)=ms$。总奖励为：

-$$R = R_{\text{format}}(Y,Z)\cdot(\alpha\cdot R_{Y} + \beta\cdot R_{Z}),\qquad R_{Z} = R_{\text{score}}(s',s)\cdot R_{\text{meta}}(Z)$$
+$$
+R = R_{\text{format}}(Y,Z)\cdot(\alpha\cdot R_{Y} + \beta\cdot R_{Z}),\qquad R_{Z} = R_{\text{score}}(s',s)\cdot R_{\text{meta}}(Z)
+$$

 论文取 $\alpha = 0.76$、$\beta = 0.24$。该结构产生三个激励：如实承认错误优于谎称正确；最高奖励来自「写出正确证明并准确认识其严谨程度」；因此最优策略是在收尾前尽可能多地识别并解决问题。用论文的话说，这是让模型**明确意识到自己的奖励函数，并通过深思熟虑的推理而非盲目试错去最大化它**。