# Janus：解耦视觉编码的统一多模态理解与生成

> **原文标题**：Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation
> **arXiv**：[2410.13848](https://arxiv.org/abs/2410.13848) ｜ **发布**：17 Oct 2024
> **作者/机构**：Chengyue Wu、Xiaokang Chen 等，DeepSeek-AI（深度求索），联合香港大学、北京大学
> **原文 PDF**：[02-Janus-2410.13848.pdf](./02-Janus-2410.13848.pdf)

## 一、摘要（全文翻译）

本文提出 Janus，一个统一了多模态理解与生成的自回归框架。以往研究通常让同一个视觉编码器同时承担这两项任务，例如 Chameleon。然而，由于多模态理解与生成所需的信息粒度不同，这种做法会导致性能次优，在多模态理解上尤为突出。为解决这一问题，我们将视觉编码解耦为相互独立的通路，同时仍使用单一、统一的 Transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解与生成两种角色之间的冲突，还提升了框架的灵活性。例如，多模态理解组件与生成组件都可以独立选择最适合自身的编码方法。实验表明，Janus 超越了以往的统一模型，并达到或超过了任务专用模型的性能。Janus 的简洁性、高灵活性与有效性，使其成为下一代统一多模态模型的有力候选。

## 二、核心贡献

1. **解耦视觉编码的统一框架**：把视觉编码拆成理解与生成两条独立通路，再由同一个自回归 Transformer 处理，以解决单一编码器兼顾两任务导致性能次优的问题；模型仅用交叉熵损失，无需特殊注意力掩码。
2. **阐明冲突根源并给出证据**：理解需高层语义表征，生成需细粒度空间与纹理表征，共用同一表征空间必然折中；消融中仅做理解训练的 Exp-C 显著优于同等编码器的统一训练 Exp-B，证明共享编码器牺牲了理解能力。
3. **1.3B 取得领先**：在 MMBench、SEED-Bench、POPE 上得 69.4、63.7、87.0，超过 7B 的 LLaVA-v1.5 与 Qwen-VL-Chat；MSCOCO-30K FID 8.53、GenEval 总体 61%，超过 DALL-E 2 与 SDXL。
4. **统一训练几乎不损害单任务**：统一训练（Exp-D）与纯理解（Exp-E）、纯生成（Exp-F）性能相当；两侧编码器可各自升级，且易扩展到新模态。

## 三、方法与技术要点

### 3.1 架构：两条视觉通路 + 一个统一 Transformer

三类输入分别独立编码，再交给同一个自回归 Transformer：文本用 LLM 内置分词器转成离散 ID；多模态理解用 SigLIP-Large-Patch16-384 提取高维语义特征，经理解适配器（两层 MLP）映射进 LLM 输入空间；视觉生成用 LlamaGen 的 VQ 分词器把图像转成离散 ID，由生成适配器把码本嵌入映射进同一空间（两路特征均先展平为一维）。文本预测复用内置预测头，图像预测用随机初始化的预测头，无需专门设计的注意力掩码。

解耦动因：理解需高层语义并做语义推理，生成需细粒度空间结构与纹理，两者共用同一表征空间必然冲突折中，这正是以往统一模型理解能力落后于专用模型的原因。

### 3.2 训练流程：三阶段

Stage I 冻结视觉编码器与 LLM，只训练两个适配器与图像预测头；Stage II 解冻 LLM 做统一预训练，混用纯文本、理解与生成数据，受 PixArt 启发先用 ImageNet-1k 学基础像素依赖、再用通用文生图数据提升开放域生成；Stage III 监督微调全部参数（生成编码器除外），只监督回答、掩掉 system 与 user 提示，且不按任务分别微调。

各阶段超参见 Table 1：

| 超参 | Stage I | Stage II | Stage III |
|---|---|---|---|
| 学习率 | $1.0\times 10^{-3}$ | $1\times 10^{-4}$ | $2.0\times 10^{-5}$ |
| LR 调度 | Cosine | Constant | Constant |
| 权重衰减 | 0.0 | 0.0 | 0.1 |
| 梯度裁剪 | 1.0 | 1.0 | 1.0 |
| 优化器 | AdamW ($\beta_1=0.9,\beta_2=0.95$) | 同左 | 同左 |
| Warm-up 步数 | 300 | 5,000 | 0 |
| 训练步数 | 10,000 | 180,000 | 24,000 |
| 批大小 | 256 | 512 | 256 |
| 数据比例（理解:文本:生成） | $1:0:1$ | $2:3:5$ | $7:3:10$ |

### 3.3 训练目标

交叉熵损失：

$$
\mathcal{L}=-\sum_{i=1}\log P_{\theta}(x_{i}|x_{<i})
$$

其中 $P(\cdot\mid\cdot)$ 为权重 $\theta$ 建模的条件概率。文本与多模态理解在文本序列上算损失，视觉生成只在图像序列上算损失，且不给不同任务设不同损失权重。

### 3.4 推理

采用下一 token 预测：文本与多模态理解顺序采样，图像生成使用无分类器引导（Classifier-Free Guidance, CFG）——训练时以 10% 概率把文本条件替换为 pad token 以获得无条件生成能力，推理时

$$
l_{g}=l_{u}+s(l_{c}-l_{u})
$$

$l_c$、$l_u$ 为有条件与无条件 logit，$s$ 为引导尺度，评测默认取 5。

### 3.5 可能的扩展

理解侧可换用更强的视觉编码器（如 EVA-CLIP、InternViT）而不必顾虑其生成能力，并用动态高分辨率支持任意分辨率；生成侧可用更细粒度编码器（如 MoVQGan）、生成专用损失（如 diffusion loss）或混合自回归与并行注意力以减少误差累积；点云、触觉、脑电等新模态可各配独立编码器。

## 四、主要实验结果

基础设置：LLM 为 DeepSeek-LLM（1.3B，最大序列长度 4096）；理解编码器为 SigLIP-Large-Patch16-384；生成编码器码本 16,384、下采样 16 倍；图像统一 384×384；训练用 16 节点 × 8 张 A100（40GB），共 7 天。

**多模态理解（Table 2）**

| 模型 | LLM 参数 | POPE↑ | MME-P↑ | MMB↑ | SEED↑ | VQAv2↑ | GQA↑ | MMMU↑ | MM-Vet↑ |
|---|---|---|---|---|---|---|---|---|---|
| Janus（本文） | 1.3B | 87.0 | 1338.0 | 69.4 | 63.7 | 77.3 | 59.1 | 30.5 | 34.3 |
| Show-o（统一） | 1.3B | 73.8 | 948.4 | - | - | 59.3 | 48.7 | 25.1 | - |
| Chameleon（统一） | 7B | - | - | - | - | - | - | 22.4 | 8.3 |
| LLaVA-v1.5（仅理解） | 7B | 85.9 | 1510.7 | 64.3 | 58.6 | 78.5 | 62.0 | 35.4 | 31.1 |
| Qwen-VL-Chat（仅理解） | 7B | - | 1487.5 | 60.6 | 58.2 | 78.2 | 57.5 | - | - |
| MobileVLM-V2（仅理解） | 2.7B | 84.7 | 1440.5 | 63.2 | - | - | 61.1 | - | - |
| VILA-U（统一） | 7B | 85.8 | 1401.8 | - | 59.0 | 79.4 | 60.8 | - | 33.5 |

**视觉生成（Table 3：GenEval；Table 4：FID）**

| 模型 | 参数 | Single Obj. | Two Obj. | Counting | Colors | Position | Color Attri. | Overall↑ |
|---|---|---|---|---|---|---|---|---|
| Janus（本文） | 1.3B | 0.97 | 0.68 | 0.30 | 0.84 | 0.46 | 0.42 | 0.61 |
| Show-o（统一） | 1.3B | 0.95 | 0.52 | 0.49 | 0.82 | 0.11 | 0.28 | 0.53 |
| SDXL（仅生成） | 2.6B | 0.98 | 0.74 | 0.39 | 0.85 | 0.15 | 0.23 | 0.55 |
| DALL-E 2（仅生成） | 6.5B | 0.94 | 0.66 | 0.49 | 0.77 | 0.10 | 0.19 | 0.52 |
| Chameleon（统一） | 34B | - | - | - | - | - | - | 0.39 |

| 模型 | 参数 | COCO-30K FID↓ | MJHQ-30K FID↓ |
|---|---|---|---|
| Janus（本文） | 1.3B | 8.53 | 10.10 |
| Show-o（统一） | 1.3B | 9.24 | 15.18 |
| LWM（统一） | 7B | 12.68 | 17.77 |
| VILA-U（统一，384） | 7B | - | 7.69 |
| SDv1.5（仅生成） | 0.9B | 9.62 | - |
| PixArt-α（仅生成） | 0.6B | 7.32 | - |
| DALL-E 2（仅生成） | 6.5B | 10.39 | - |

**消融实验（Table 5）**

| Exp | 视觉编码器 | 训练任务 | POPE↑ | MMB↑ | SEED↑ | MMMU↑ | COCO-FID↓ |
|---|---|---|---|---|---|---|---|
| A | VQ Tokenizer | 理解 + 生成 | 60.1 | 35.0 | 34.9 | 24.7 | 8.72 |
| B | 语义 Tokenizer | 理解 + 生成 | 82.4 | 52.7 | 54.9 | 26.6 | 7.11 |
| C | 语义 Tokenizer | 仅理解 | 83.9 | 62.1 | 60.8 | 27.5 | - |
| D | SigLIP + VQ（本文） | 理解 + 生成 | 87.0 | 69.4 | 63.7 | 30.5 | 8.53 |
| E | SigLIP | 仅理解 | 85.9 | 70.6 | 64.8 | 28.8 | - |
| F | VQ Tokenizer | 仅生成 | - | - | - | - | 8.92 |

同等规模下 Janus 全面领先：相比此前最好的统一模型 Show-o，MME 由 949 升至 1338（+41%），GQA 由 48.7 升至 59.1（+30%）；对比大得多的专用模型仍具竞争力，在 POPE、MMBench、SEED Bench、MM-Vet 上超过 LLaVA-v1.5（7B），仅 MME-P（1338.0 vs 1510.7）、MMMU（30.5 vs 35.4）、VQAv2 与 GQA 略低。生成侧 GenEval 总体 61% 优于 Show-o（53%）、SDXL（55%）与 DALL-E 2（52%），Position（0.46）、Color Attri.（0.42）优势最大，但 Counting 仅 0.30（对手 0.49）；COCO-30K FID 8.53 优于 Show-o、LWM、SDv1.5 与 DALL-E 2，却逊于 PixArt-α（7.32）与 RAPHAEL（6.61）。

消融说明三点：单一 VQ 分词器兼顾两任务（Exp-A）生成尚可但理解远逊；换用语义分词器（Exp-B）理解改善却仍不及 Exp-D，其生成反超 Exp-D，作者推测因语义 ID 更连贯且其编码器参数量显著更大；Exp-C 只做理解训练而理解显著优于 Exp-B，证明单一编码器确在两者间折中并牺牲理解。统一训练（Exp-D）与纯理解、纯生成相当，说明生成能力几乎不损害理解。定性上 Janus 在梗图理解中能读准文字与情绪，明显优于 Chameleon 与 Show-o，文生图也更贴合提示词；附录显示其具备涌现的多语言文生图能力。

## 五、结论、局限与影响

- **结论**：Janus 简洁、统一且可扩展，核心是解耦理解与生成的视觉编码，以缓解两者对编码器的不同需求；实验验证其有效性与领先性能。
- **局限性**：论文未设独立的局限性章节，作者未集中自述。从正文可归纳：主实验仅用普通 VQ 分词器（语义分词器只用于消融）、图像固定 384×384、语言模型仅 1.3B；Counting（0.30）弱于部分对比模型；Exp-B 生成优于 Exp-D，说明生成侧编码器仍有空间。
- **影响**：首次明确统一多模态框架中视觉编码应当解耦，给出可复制范式——两侧各用最优编码器、共享同一个自回归 Transformer；其涌现的多语言文生图能力与多模态扩展路径指向通用基座模型。

## 六、关键术语对照表

| English | 中文 |
|---|---|
| Unified Multimodal Understanding and Generation | 统一多模态理解与生成 |
| Decoupling Visual Encoding | 解耦视觉编码 |
| Autoregressive Framework (AR) | 自回归框架 |
| Vision Encoder | 视觉编码器 |
| Understanding Adaptor / Generation Adaptor | 理解适配器 / 生成适配器 |
| VQ Tokenizer | 向量量化分词器 |
| Codebook / Codebook Embedding | 码本 / 码本嵌入 |
| Semantic Tokenizer | 语义分词器 |
| Classifier-Free Guidance (CFG) | 无分类器引导 |
| Cross-Entropy Loss | 交叉熵损失 |
| Supervised Fine-tuning (SFT) | 监督微调 |
| Fréchet Inception Distance (FID) | 弗雷歇初始距离 |
| Compositional Capability | 组合能力 |
| Dynamic High-Resolution | 动态高分辨率 |
| Emergent Capability | 涌现能力 |