139 lines
14 KiB
Markdown
139 lines
14 KiB
Markdown
# DeepSeek-OCR 2：视觉因果流
|
||
|
||
> **原文标题**：DeepSeek-OCR 2: Visual Causal Flow
|
||
> **arXiv**：[2601.20552](https://arxiv.org/abs/2601.20552) ｜ **发布**：28 Jan 2026
|
||
> **作者/机构**：Haoran Wei、Yaofeng Sun、Yukun Li（DeepSeek-AI（深度求索））
|
||
> **原文 PDF**：[06-DeepSeek-OCR-2-2601.20552.pdf](./06-DeepSeek-OCR-2-2601.20552.pdf)
|
||
|
||
## 一、摘要（全文翻译）
|
||
|
||
我们提出 DeepSeek-OCR 2，用以研究一种新型编码器——DeepEncoder V2——的可行性，该编码器能够依据图像语义对视觉词元（visual token）进行动态重排序。传统视觉语言模型（Vision-Language Model, VLM）在把视觉词元送入大语言模型（LLM）时，无一例外地采用刚性的光栅扫描顺序（raster-scan order，即左上到右下）并配合固定位置编码。然而，这与人类视觉感知相矛盾：人类视觉遵循灵活但在语义上连贯的扫描模式，该模式由图像内在的逻辑结构驱动。尤其对于布局复杂的图像，人类视觉表现出带有因果信息的顺序化处理。受这一认知机制启发，DeepEncoder V2 被设计为赋予编码器因果推理能力，使其能在基于 LLM 的内容解读之前智能地对视觉词元重新排序。本工作探索了一种新范式：二维图像理解能否通过两个级联的一维因果推理结构有效实现，从而提供一种有望实现真正二维推理的新架构路径。代码与模型权重已在 http://github.com/deepseek-ai/DeepSeek-OCR-2 公开发布。
|
||
|
||
## 二、核心贡献
|
||
|
||
1. **用 LLM 架构替换 CLIP**：把 DeepEncoder 的 CLIP 换成紧凑 LLM 架构，使编码器在压缩视觉知识的同时获得对视觉序列的因果建模能力。
|
||
2. **因果流查询与定制掩码**：查询以**后缀**追加在视觉词元之后，视觉词元保持双向注意力以保留全局感受野，查询用因果注意力、仅可见全部视觉词元与更早查询，从而渐进式重排序视觉信息。
|
||
3. **等基数设计**：查询与视觉词元数相等（视觉侧以填充、边框等冗余补偿），不改变词元总数即为「再注视」提供容量。
|
||
4. **两级级联因果推理**：只把编码器输出序列的后半部分（因果查询输出）送入 LLM 解码器，编码器负责阅读逻辑推理、解码器负责视觉任务推理。
|
||
5. **同压缩率下大幅提升**：词元上限约束在 256–1120，在 OmniDocBench v1.5 上比 DeepSeek-OCR 提升 3.73%（87.36 → 91.09），阅读顺序编辑距离由 0.085 降至 0.057。
|
||
6. **验证「语言模型架构即多模态编码器」**：只需为各模态配置各自的可学习查询，即可在同一参数空间压缩文本、抽取语音特征、重组视觉内容。
|
||
|
||
## 三、方法与技术要点
|
||
|
||
### 3.1 整体架构与设计动机
|
||
|
||
DeepSeek-OCR 2 沿用 DeepSeek-OCR 的「编码器 + 解码器」架构，关键差异是把 DeepEncoder 升级为 DeepEncoder V2。痛点在于：朴素编码器虽以全注意力获得类似中央凹与周边视觉的全图感受野，但把二维图像块压平为一维序列时，文本导向的位置编码（如 RoPE）强加了刚性顺序偏置，与光学文本、表单、表格的非线性布局相矛盾。人类视觉虽与视觉编码器相似（注视点相当于视觉词元），但注视点顺序由语义因果驱动——追踪螺旋线时每个后续注视点因果依赖前一个，故视觉词元应依据语义而非空间坐标被选择性处理。
|
||
|
||
### 3.2 视觉分词器（Vision tokenizer）
|
||
|
||
第一部分是视觉分词器，沿用 DeepEncoder 的 80M 参数 SAM-base 加两层卷积，末层输出维度由 1024 降为 896 以对齐后续流水线。该压缩式分词器并非必需，可换成简单图块嵌入（patch embedding）；保留它是因为它借助窗口注意力以极小参数量实现 16× 词元压缩，大幅降低后续全局注意力的计算与显存。
|
||
|
||
### 3.3 语言模型即视觉编码器（Language model as vision encoder）
|
||
|
||
在 DeepEncoder 中，视觉分词器之后是 CLIP ViT；DeepEncoder V2 将其重设计为具有双流注意力机制的 LLM 式架构：视觉词元用双向注意力以保留 CLIP 的全局建模能力，新增的因果流查询用因果注意力并以**后缀**追加在视觉词元之后，每个查询可关注全部视觉词元及其之前的查询。实现采用 Qwen2-0.5B（500M 参数，与 CLIP ViT 的 300M 量级相当）。作者强调「仅解码器 + 视觉词元前缀拼接」至关重要：改用 mBART 式编码器-解码器结构、以交叉注意力接入的实验**无法收敛**，推测原因是视觉词元被隔离在独立编码器中交互不足，而前缀设计让视觉词元在全部层中保持活跃。由此形成两级级联因果推理：编码器通过查询重排序视觉词元，解码器再对有序序列自回归推理；因果有序的查询既适应视觉语义，又契合 LLM 的单向注意力模式，有望弥合二维空间结构与一维因果语言建模的鸿沟。
|
||
|
||
### 3.4 因果流查询与多裁剪策略（Causal flow query）
|
||
|
||
因果查询词元数等于视觉词元数，即 $\frac{W\times H}{16^{2}\times 16}$（$W$、$H$ 为输入图像宽高）。为避免为不同分辨率维护多套查询集，作者采用多裁剪（multi-crop）策略：全局视图 $1024\times1024$ 对应 256 个查询嵌入 $\text{query}_{\text{global}}$；局部裁剪 $768\times768$，裁剪数 $k$ 取 0–6（两维都小于 768 时不裁剪），所有局部视图共享同一套 144 个查询嵌入 $\text{query}_{\text{local}}$。送入 LLM 的重排序视觉词元总数为 $k\times 144+256$，范围 $[256,1120]$；上限 1120 低于 DeepSeek-OCR 的 1156（Gundam 模式），与 Gemini-3-Pro 的最大视觉词元预算持平。
|
||
|
||
### 3.5 注意力掩码（Attention mask）
|
||
|
||
掩码由两个区域沿序列维度拼接：左侧对原始视觉词元施加双向注意力（类似 ViT），任意词元互相可见；右侧对因果流词元施加因果注意力（三角掩码，与仅解码器 LLM 一致），每个词元只关注之前的词元。形式为
|
||
|
||
$$M=\begin{bmatrix}\mathbf{1}_{m\times m}&\mathbf{0}_{m\times n}\\ \mathbf{1}_{n\times m}&\text{LowerTri}(n)\end{bmatrix},\quad\text{其中 }n=m$$
|
||
|
||
其中 $n$ 为因果查询词元数，$m$ 为朴素视觉词元数，$\text{LowerTri}$ 为下三角矩阵。
|
||
|
||
### 3.6 DeepSeek-MoE 解码器与整体前向
|
||
|
||
解码器不做升级，沿用 DeepSeek-OCR 的 3B 参数 MoE 结构（约 500M 激活参数）。核心前向过程为
|
||
|
||
$$\mathbf{O}=\mathcal{D}\left(\pi_{Q}\left(\mathcal{T}^{L}\left(\mathcal{E}(\mathbf{I})\oplus\mathbf{Q}_{0};\mathbf{M}\right)\right)\right)$$
|
||
|
||
其中 $\mathcal{E}$ 为视觉分词器（图像→$m$ 个视觉词元），$\mathbf{Q}_{0}$ 为可学习因果查询嵌入，$\oplus$ 为序列拼接，$\mathcal{T}^{L}$ 是带掩码注意力的 $L$ 层 Transformer，$\mathbf{M}$ 为式 (1) 的块状因果掩码，$\pi_{Q}$ 抽取最后 $n$ 个词元，$\mathcal{D}$ 为语言解码器，$\mathbf{O}$ 为词表上的输出 logits。
|
||
|
||
### 3.7 数据引擎与三阶段训练流水线
|
||
|
||
**数据引擎**：来源与 DeepSeek-OCR 相同（OCR 1.0、OCR 2.0 与通用视觉数据），OCR 数据占混合的 80%。两处改动：对 OCR 1.0 按内容类型（文本、公式、表格）以 3:1:1 更均衡采样；布局检测标签精修，合并语义相近类别（如统一「figure caption」与「figure title」）。差异极小，故 DeepSeek-OCR 是有效基线。
|
||
|
||
**三阶段训练**：编码器预训练（获得抽取、压缩与重排序能力）→查询增强（强化重排序与视觉知识压缩）→解码器专门化（冻结编码器只优化解码器，相同 FLOPs 下提高数据吞吐）。
|
||
|
||
- 阶段一：遵循 DeepSeek-OCR 与 Vary，以语言建模目标把编码器与轻量解码器耦合，经下一词元预测联合优化；$768\times768$ 与 $1024\times1024$ 两个 dataloader；视觉分词器由 DeepEncoder、LLM 式编码器由 Qwen2-0.5B-base 初始化，之后只保留编码器参数。AdamW，余弦衰减 $1\text{e-}4 \to 1\text{e-}6$，160 张 A100（20 节点 × 8 卡）、batch size 640、40k 迭代（8K 打包，约 100M 图文对）。
|
||
- 阶段二：与 DeepSeek-3B-A500M 组合为最终流水线；冻结视觉分词器（SAM-conv），联合优化 LLM 编码器与解码器以增强查询表示，并把两种分辨率统一为多裁剪输入。4 段流水线并行：PP0 视觉分词器、PP1 LLM 式编码器、PP2–3 DeepSeek-LLM（每段 6 层）；160 张 40GB GPU 配 40 个数据并行副本，全局 batch 1280，学习率 5e-5 → 1e-6，15k 迭代。
|
||
- 阶段三：冻结全部 DeepEncoder V2 参数，只更新 DeepSeek-LLM；相同全局 batch 下训练速度提升一倍以上，并帮助 LLM 理解重排序后的视觉词元；学习率 1e-6 → 5e-8，20k 迭代。
|
||
|
||
## 四、主要实验结果
|
||
|
||
**表 1：OmniDocBench v1.5 文档阅读综合评测**（V-token max 与编辑距离越低越好，其余越高越好）
|
||
|
||
| 模型 | V-token max↓ | Overall↑ | Text Edit↓ | Formula CDM↑ | Table TEDs↑ | Table TEDSs↑ | R-order Edit↓ |
|
||
|---|---|---|---|---|---|---|---|
|
||
| Marker-1.8.2 | - | 71.30 | 0.206 | 76.66 | 57.88 | 71.17 | 0.250 |
|
||
| Dolphin-1.5 | - | 83.21 | 0.092 | 80.78 | 78.06 | 84.10 | 0.080 |
|
||
| MonkeyOCR-pro-3B | - | 88.85 | 0.075 | 87.25 | 86.78 | 90.63 | 0.128 |
|
||
| MinerU2.5 | - | 90.67 | 0.047 | 88.46 | 88.22 | 92.38 | 0.044 |
|
||
| PaddleOCR-VL | - | 92.86 | 0.035 | 91.22 | 90.89 | 94.76 | 0.043 |
|
||
| GPT-4o | - | 75.02 | 0.217 | 79.70 | 67.07 | 76.09 | 0.148 |
|
||
| InternVL3.5-241B | >7000 | 82.67 | 0.142 | 87.23 | 75.00 | 81.28 | 0.125 |
|
||
| Qwen2.5-VL-72B | >6000 | 87.02 | 0.094 | 88.27 | 82.15 | 86.22 | 0.102 |
|
||
| Gemini-2.5 Pro | - | 88.03 | 0.075 | 85.82 | 85.71 | 90.29 | 0.097 |
|
||
| Qwen3-VL-235B | >6000 | 89.15 | 0.069 | 88.14 | 86.21 | 90.55 | 0.068 |
|
||
| DeepSeek-OCR (9-crops) | 1156 | 87.36 | 0.073 | 84.14 | 85.25 | 89.01 | 0.085 |
|
||
| **DeepSeek-OCR 2** | **1120** | **91.09** | **0.048** | **90.31** | **87.75** | **92.06** | **0.057** |
|
||
| 相对基线变化 | ↓36 | ↑3.73 | ↓0.025 | ↑6.17 | ↑2.5 | ↑3.05 | ↓0.028 |
|
||
|
||
**表 2：OmniDocBench v1.5 不同文档元素类别的编辑距离**（越低越好）
|
||
|
||
| 模型 | V-token max↓ | Text Edit↓ | Formula Edit↓ | Table Edit↓ | R-order Edit↓ | Overall Edit↓ |
|
||
|---|---|---|---|---|---|---|
|
||
| Gemini-3 pro | 1120 | - | - | - | - | 0.115 |
|
||
| Seed-1.8 | 5120 | - | - | - | - | 0.106 |
|
||
| DeepSeek-OCR | 1156 | 0.073 | 0.236 | 0.123 | 0.085 | 0.129 |
|
||
| **DeepSeek-OCR 2** | **1120** | **0.048** | **0.198** | **0.096** | **0.057** | **0.100** |
|
||
|
||
**表 3：9 类文档细粒度对比（编辑距离，越低越好）**
|
||
|
||
| 模型 / 指标 | PPT | Academic Paper | Book | Colorful Textbook | Exam Paper | Magazine | Newspaper | Note | Research Report |
|
||
|---|---|---|---|---|---|---|---|---|---|
|
||
| DS-OCR Text | 0.052 | 0.028 | 0.022 | 0.130 | 0.074 | 0.049 | 0.131 | 0.145 | 0.015 |
|
||
| DS-OCR R-order | 0.052 | 0.021 | 0.040 | 0.125 | 0.083 | 0.101 | 0.217 | 0.089 | 0.016 |
|
||
| DS-OCR 2 Text | 0.031 | 0.013 | 0.033 | 0.053 | 0.047 | 0.026 | 0.139 | 0.068 | 0.008 |
|
||
| DS-OCR 2 R-order | 0.025 | 0.013 | 0.027 | 0.066 | 0.048 | 0.100 | 0.176 | 0.035 | 0.011 |
|
||
|
||
**表 4：生产环境性能对比（重复率，越低越好）**
|
||
|
||
| 模型 | 线上用户日志（图像） | 预训练数据（PDF） |
|
||
|---|---|---|
|
||
| DeepSeek-OCR | 6.25% | 3.69% |
|
||
| DeepSeek-OCR 2 | 4.17%（↓2.08%） | 2.88%（↓0.81%） |
|
||
|
||
评测以 OmniDocBench v1.5 为主基准，覆盖中英文 9 大类共 1,355 个文档页面。DeepSeek-OCR 2 以最小的视觉词元上限（1120）取得 91.09% 总体成绩，比 DeepSeek-OCR 提升 3.73%；阅读顺序编辑距离由 0.085 降至 0.057，表明 DeepEncoder V2 能依据图像信息有效选择并排列视觉词元。与 Gemini-3 Pro 在相近预算（1120）下相比，其总体编辑距离更低（0.100 对 0.115）。9 类文档中文本识别多数优于基线（彩色教科书 0.130 → 0.053、笔记 0.145 → 0.068），报纸是明显短板（0.131 → 0.139，仍高于 0.13），而阅读顺序在全部类别一致领先。
|
||
|
||
## 五、结论、局限与影响
|
||
|
||
- **结论**：DeepSeek-OCR 2 在保持高视觉词元压缩率的同时取得实质提升，驱动力是新提出的 DeepEncoder V2——通过双向与因果注意力的融合隐式蒸馏出对视觉世界的因果理解，使编码器具备因果推理能力。
|
||
- **局限性**：论文自述仍有可观提升空间：报纸类偏弱（文本编辑距离 >0.13），一是词元上限较低影响文本极密集报纸的识别（可通过增加局部裁剪数缓解），二是报纸训练数据仅 250k 样本，不足以训练 DeepEncoder V2 处理该类文档。此外，真正的二维推理仍是漫长旅程：多次重审与多跳重排序可能需要远多于原始视觉词元序列的因果流词元；解码器侧未做升级。
|
||
- **影响**：编码器与解码器构成两级级联的一维因果推理器，把二维理解分解为两个互补/正交的一维子任务，为真正的二维推理提供新路径；该结构还有望演化为统一的全模态编码器——共享 $W_k$、$W_v$ 投影、注意力与 FFN，仅靠模态专属查询嵌入即可在同一参数空间压缩文本、抽取语音特征、重组视觉内容。
|
||
|
||
## 六、关键术语对照表
|
||
|
||
| English | 中文 |
|
||
|---|---|
|
||
| Visual Causal Flow | 视觉因果流 |
|
||
| Vision tokenizer | 视觉分词器 |
|
||
| Visual token | 视觉词元 |
|
||
| Causal flow query / token | 因果流查询 / 因果流词元 |
|
||
| Learnable query | 可学习查询 |
|
||
| Attention mask | 注意力掩码 |
|
||
| Bidirectional attention | 双向注意力 |
|
||
| Causal attention (LowerTri) | 因果注意力（下三角掩码） |
|
||
| Prefix-concatenation | 前缀拼接 |
|
||
| Multi-crop strategy | 多裁剪策略 |
|
||
| Re-fixation | 再注视 |
|
||
| Raster-scan order | 光栅扫描顺序 |
|
||
| Reading order (R-order) | 阅读顺序 |
|
||
| Edit Distance (ED) | 编辑距离 |
|
||
| Repetition rate | 重复率 |
|
||
| Mixture-of-Experts (MoE) | 专家混合 |
|
||
| Omni-modal encoder | 全模态编码器 |
|