修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

大模型/deepseek/05-多模态/05-DeepSeek-OCR-2510.18234_abstract.md

@@ -29,7 +29,9 @@ DeepSeek-OCR 采用统一的端到端 VLM 架构：编码器（DeepEncoder）负
 
 **架构设计（图 3）**：DeepEncoder 由「以窗口注意力为主的感知组件」与「稠密全局注意力的知识组件」构成，为继承预训练收益分别采用 SAM-base（patch size 16）与 CLIP-large；关键改动是**去掉 CLIP 的第一个 patch embedding 层**，因其输入不再是图像，而是上一段流程输出的 token。两组件之间借鉴 Vary，用 **2 层卷积做 16× 下采样**（kernel 3、stride 2、padding 1，通道 256→1024）。以 1024×1024 输入为例：
 
-$$\frac{1024}{16}\times\frac{1024}{16}=4096\ \text{patch tokens},\qquad \frac{4096}{16}=256\ \text{tokens after compression}$$
+$$
+\frac{1024}{16}\times\frac{1024}{16}=4096\ \text{patch tokens},\qquad \frac{4096}{16}=256\ \text{tokens after compression}
+$$
 
 前半段由窗口注意力主导且仅 80M，激活可接受；4096 个 token 在进入全局注意力前先压成 256 个，整体激活显存因之可控。这就是「先感知、后压缩、再全局建模」的分工：窗口注意力以低成本换细节，压缩器把成本峰值挡在稠密全局注意力之外。
 
@@ -48,7 +50,9 @@ $$\frac{1024}{16}\times\frac{1024}{16}=4096\ \text{patch tokens},\qquad \frac{40
 
 Tiny/Small 分辨率小，直接按原形状缩放以免浪费 token；Base/Large 为保持长宽比采用填充，填充后有效视觉 token 少于实际数量：
 
-$$N_{valid}=\left\lceil N_{actual}\times\left[1-\frac{\max(w,h)-\min(w,h)}{\max(w,h)}\right]\right\rceil \tag{1}$$
+$$
+N_{valid}=\left\lceil N_{actual}\times\left[1-\frac{\max(w,h)-\min(w,h)}{\max(w,h)}\right]\right\rceil \tag{1}
+$$
 
 动态分辨率由两种原生分辨率组合，切块沿用 InternVL2.0。Gundam 由 n 个 640×640 局部视图（tile）加一个 1024×1024 全局视图构成，动机是应用需求（尤其报纸这类超高分辨率输入）——切块相当于「二级窗口注意力」，可进一步压低激活；因原生分辨率较大，图像不会被过度切碎（tile 数 2–9）。宽高均小于 640 时 $n=0$，Gundam 退化为 Base。Gundam-M 则由已训练模型继续训练 6M 采样数据得到，主要为负载均衡（其分辨率过大，混合训练会拖慢速度）。
 
@@ -56,7 +60,9 @@ $$N_{valid}=\left\lceil N_{actual}\times\left[1-\frac{\max(w,h)-\min(w,h)}{\max(
 
 解码器采用 DeepSeekMoE（DeepSeek-3B-MoE）：推理时从 64 个路由专家中激活 6 个，另加 2 个共享专家，激活参数约 570M。作者认为它既有 3B 的表达能力、又享有 500M 小模型的推理效率，尤其适合以领域为中心的 VLM 研究。解码即从压缩潜变量重建文本表示：
 
-$$f_{\text{dec}}:\mathbb{R}^{n\times d_{\text{latent}}}\rightarrow\mathbb{R}^{N\times d_{\text{text}}},\qquad \hat{\mathbf{X}}=f_{\text{dec}}(\mathbf{Z})\quad\text{where }n\le N \tag{2}$$
+$$
+f_{\text{dec}}:\mathbb{R}^{n\times d_{\text{latent}}}\rightarrow\mathbb{R}^{N\times d_{\text{text}}},\qquad \hat{\mathbf{X}}=f_{\text{dec}}(\mathbf{Z})\quad\text{where }n\le N \tag{2}
+$$
 
 其中 $\mathbf{Z}$ 为 DeepEncoder 输出的压缩潜（视觉）token，$\hat{\mathbf{X}}$ 为重建文本表示。作者指出这是紧致语言模型可通过 OCR 式训练学会的非线性映射，并推测 LLM 经专门预训练优化能更自然地集成该能力。