修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

2026-09-21 10:53:11 +08:00
parent f5b825bd4a
commit 19afe00a86
28 changed files with 486 additions and 130 deletions
@@ -46,7 +46,9 @@ Stage I 冻结视觉编码器与 LLM，只训练两个适配器与图像预测

 交叉熵损失：

-$$\mathcal{L}=-\sum_{i=1}\log P_{\theta}(x_{i}|x_{<i})$$
+$$
+\mathcal{L}=-\sum_{i=1}\log P_{\theta}(x_{i}|x_{<i})
+$$

 其中 $P(\cdot\mid\cdot)$ 为权重 $\theta$ 建模的条件概率。文本与多模态理解在文本序列上算损失，视觉生成只在图像序列上算损失，且不给不同任务设不同损失权重。

@@ -54,7 +56,9 @@ $$\mathcal{L}=-\sum_{i=1}\log P_{\theta}(x_{i}|x_{<i})$$

 采用下一 token 预测：文本与多模态理解顺序采样，图像生成使用无分类器引导（Classifier-Free Guidance, CFG）——训练时以 10% 概率把文本条件替换为 pad token 以获得无条件生成能力，推理时

-$$l_{g}=l_{u}+s(l_{c}-l_{u})$$
+$$
+l_{g}=l_{u}+s(l_{c}-l_{u})
+$$

 $l_c$、$l_u$ 为有条件与无条件 logit，$s$ 为引导尺度，评测默认取 5。