# 多模态大模型（Multimodal LLM, MLLM）

## 什么是多模态？

**模态（Modality）** = 数据的感知/表达形式。人类通过多种模态理解世界：

| 模态 | 示例 |
|---|---|
| **文本** | 文章、代码、对话 |
| **图像** | 照片、图表、截图 |
| **音频** | 语音、音乐、环境声 |
| **视频** | 连续图像帧 + 音频 |

**多模态大模型** = 能同时理解和处理**多种模态数据**的 AI 模型，而非仅限于文本。

---

## 为什么需要多模态？

> 纯文本模型只能"读文字"，无法"看图片"、"听声音"。

现实世界的信息天然是多模态的：
- 医生既要看病历（文本），也要看 CT 片（图像）
- 自动驾驶需要同时处理摄像头（图像）、雷达（点云）、地图（结构化数据）
- 社交媒体帖子包含文字 + 图片 + 视频

---

## 基本架构（三大组件）

```
┌─────────────────────┐
│   视觉编码器         │  ← 处理图像/视频输入
│   Vision Encoder    │     (如 ViT、SigLIP)
└────────┬────────────┘
         │ 视觉特征
         ▼
┌─────────────────────┐
│   投影器/连接器      │  ← 将视觉特征映射到语言空间
│   Projector         │     (如 MLP、Q-Former)
└────────┬────────────┘
         │ 对齐后的 token
         ▼
┌─────────────────────┐
│   大语言模型         │  ← 核心推理引擎
│   LLM Backbone      │     (如 DeepSeek、LLaMA、Qwen)
└─────────────────────┘
```

### 工作流程

1. 图像 → 视觉编码器 → 视觉特征向量
2. 视觉特征 → 投影器 → 对齐到语言模型的 token 空间
3. 文本 token + 视觉 token → LLM → 生成回复

---

## 核心能力

| 能力 | 说明 | 示例 |
|---|---|---|
| **视觉问答（VQA）** | 根据图片回答问题 | "这张图里有几只猫？" |
| **图像描述** | 自动生成图片文字描述 | 为盲人描述照片内容 |
| **多模态对话** | 图文混合交互 | "分析这张财报图表" |
| **OCR 理解** | 理解图片中的文字 | 识别截图、海报、PDF |
| **视觉推理** | 多步骤逻辑推理 | "如果把这个方块旋转90°会怎样？" |

---

## 主流多模态模型（2025-2026）

| 模型 | 开发商 | 特点 |
|---|---|---|
| **GPT-4V / GPT-4o** | OpenAI | 原生多模态，实时语音+视觉 |
| **Gemini 系列** | Google | 原生多模态，Ultra/Pro/Flash/Nano 全系覆盖 |
| **Claude 系列** | Anthropic | 强大的图像理解、图表分析能力 |
| **Qwen-VL 系列** | 阿里通义 | 开源，中英双语 |
| **InternVL 系列** | 上海 AI 实验室 | 开源，CVPR 2025 发表 Mono-InternVL |
| **DeepSeek-VL** | DeepSeek | 注意：V4 系列目前 **仅文本**，视觉版待发布 |
| **LLaVA 系列** | 学术界 | 开源先驱，推动 MLLM 研究方向 |

---

## 2025 年前沿方向

### 1. 高效/轻量化 MLLM
- 视觉 Token 压缩（降低 Transformer 二次复杂度）
- MoE 架构（如 MoE-LLaVA）
- 边缘设备部署（MobileVLM、TinyLLaVA、Gemini Nano）

### 2. 单体式 MLLM（Monolithic MLLM）
- **Mono-InternVL**（CVPR 2025）：将视觉编码直接集成到 LLM 内部
- 减少 67% 首 Token 延迟，解决灾难性遗忘

### 3. 长链视觉推理
- **Insight-V**：多智能体系统（推理 agent + 总结 agent）
- 跨 7 个基准平均提升 7.5%

### 4. 统一多模态表征
- **UnifiedMLLM**：单一模型处理多种多模态任务

---

## 主要挑战

1. **长序列效率**：一张图 = 数百到数千个 token，多图/视频成本极高
2. **幻觉问题**：模型可能"看到"不存在的物体
3. **计算成本**：训练和推理资源消耗远超纯文本模型
4. **评估困难**：多模态基准测试尚不成熟
5. **安全对齐**：视觉输入可能绕过文本安全过滤器

---

## 与纯文本模型对比

| 维度 | 纯文本 LLM | 多模态 MLLM |
|---|---|---|
| 输入 | 仅文本 | 文本 + 图像 + 音频 + 视频 |
| 参数量 | 较小（相对） | 需额外的视觉编码器参数 |
| 推理成本 | 较低 | 较高（视觉 token 开销大） |
| 应用范围 | 对话、写作、编程 | 医疗影像、自动驾驶、设计 |
| 成熟度 | 较高 | 快速发展中 |

---

## 总结

多模态是 AI 走向通用人工智能（AGI）的关键一步。当前的 V4 Pro/Flash 等纯文本模型虽强，但"看不到世界"仍是巨大局限。理解多模态架构和原理，是理解下一代 AI 的必要基础。

---

## 相关链接

- [[Transformer 架构详解]]
- [[DeepSeek V4 系列]]
- [[大模型架构基础]]

---

*最后更新：2026-08-05*