将 note 笔记库同步到 note_sync，AI_compiler 作为 submodule
This commit is contained in:
ylhan
+140
@@ -0,0 +1,140 @@
|
||||
# 多模态大模型（Multimodal LLM, MLLM）
|
||||
|
||||
## 什么是多模态？
|
||||
|
||||
**模态（Modality）** = 数据的感知/表达形式。人类通过多种模态理解世界：
|
||||
|
||||
| 模态 | 示例 |
|
||||
|---|---|
|
||||
| **文本** | 文章、代码、对话 |
|
||||
| **图像** | 照片、图表、截图 |
|
||||
| **音频** | 语音、音乐、环境声 |
|
||||
| **视频** | 连续图像帧 + 音频 |
|
||||
|
||||
**多模态大模型** = 能同时理解和处理**多种模态数据**的 AI 模型，而非仅限于文本。
|
||||
|
||||
---
|
||||
|
||||
## 为什么需要多模态？
|
||||
|
||||
> 纯文本模型只能"读文字"，无法"看图片"、"听声音"。
|
||||
|
||||
现实世界的信息天然是多模态的：
|
||||
- 医生既要看病历（文本），也要看 CT 片（图像）
|
||||
- 自动驾驶需要同时处理摄像头（图像）、雷达（点云）、地图（结构化数据）
|
||||
- 社交媒体帖子包含文字 + 图片 + 视频
|
||||
|
||||
---
|
||||
|
||||
## 基本架构（三大组件）
|
||||
|
||||
```
|
||||
┌─────────────────────┐
|
||||
│ 视觉编码器 │ ← 处理图像/视频输入
|
||||
│ Vision Encoder │ (如 ViT、SigLIP)
|
||||
└────────┬────────────┘
|
||||
│ 视觉特征
|
||||
▼
|
||||
┌─────────────────────┐
|
||||
│ 投影器/连接器 │ ← 将视觉特征映射到语言空间
|
||||
│ Projector │ (如 MLP、Q-Former)
|
||||
└────────┬────────────┘
|
||||
│ 对齐后的 token
|
||||
▼
|
||||
┌─────────────────────┐
|
||||
│ 大语言模型 │ ← 核心推理引擎
|
||||
│ LLM Backbone │ (如 DeepSeek、LLaMA、Qwen)
|
||||
└─────────────────────┘
|
||||
```
|
||||
|
||||
### 工作流程
|
||||
|
||||
1. 图像 → 视觉编码器 → 视觉特征向量
|
||||
2. 视觉特征 → 投影器 → 对齐到语言模型的 token 空间
|
||||
3. 文本 token + 视觉 token → LLM → 生成回复
|
||||
|
||||
---
|
||||
|
||||
## 核心能力
|
||||
|
||||
| 能力 | 说明 | 示例 |
|
||||
|---|---|---|
|
||||
| **视觉问答（VQA）** | 根据图片回答问题 | "这张图里有几只猫？" |
|
||||
| **图像描述** | 自动生成图片文字描述 | 为盲人描述照片内容 |
|
||||
| **多模态对话** | 图文混合交互 | "分析这张财报图表" |
|
||||
| **OCR 理解** | 理解图片中的文字 | 识别截图、海报、PDF |
|
||||
| **视觉推理** | 多步骤逻辑推理 | "如果把这个方块旋转90°会怎样？" |
|
||||
|
||||
---
|
||||
|
||||
## 主流多模态模型（2025-2026）
|
||||
|
||||
| 模型 | 开发商 | 特点 |
|
||||
|---|---|---|
|
||||
| **GPT-4V / GPT-4o** | OpenAI | 原生多模态，实时语音+视觉 |
|
||||
| **Gemini 系列** | Google | 原生多模态，Ultra/Pro/Flash/Nano 全系覆盖 |
|
||||
| **Claude 系列** | Anthropic | 强大的图像理解、图表分析能力 |
|
||||
| **Qwen-VL 系列** | 阿里通义 | 开源，中英双语 |
|
||||
| **InternVL 系列** | 上海 AI 实验室 | 开源，CVPR 2025 发表 Mono-InternVL |
|
||||
| **DeepSeek-VL** | DeepSeek | 注意：V4 系列目前 **仅文本**，视觉版待发布 |
|
||||
| **LLaVA 系列** | 学术界 | 开源先驱，推动 MLLM 研究方向 |
|
||||
|
||||
---
|
||||
|
||||
## 2025 年前沿方向
|
||||
|
||||
### 1. 高效/轻量化 MLLM
|
||||
- 视觉 Token 压缩（降低 Transformer 二次复杂度）
|
||||
- MoE 架构（如 MoE-LLaVA）
|
||||
- 边缘设备部署（MobileVLM、TinyLLaVA、Gemini Nano）
|
||||
|
||||
### 2. 单体式 MLLM（Monolithic MLLM）
|
||||
- **Mono-InternVL**（CVPR 2025）：将视觉编码直接集成到 LLM 内部
|
||||
- 减少 67% 首 Token 延迟，解决灾难性遗忘
|
||||
|
||||
### 3. 长链视觉推理
|
||||
- **Insight-V**：多智能体系统（推理 agent + 总结 agent）
|
||||
- 跨 7 个基准平均提升 7.5%
|
||||
|
||||
### 4. 统一多模态表征
|
||||
- **UnifiedMLLM**：单一模型处理多种多模态任务
|
||||
|
||||
---
|
||||
|
||||
## 主要挑战
|
||||
|
||||
1. **长序列效率**：一张图 = 数百到数千个 token，多图/视频成本极高
|
||||
2. **幻觉问题**：模型可能"看到"不存在的物体
|
||||
3. **计算成本**：训练和推理资源消耗远超纯文本模型
|
||||
4. **评估困难**：多模态基准测试尚不成熟
|
||||
5. **安全对齐**：视觉输入可能绕过文本安全过滤器
|
||||
|
||||
---
|
||||
|
||||
## 与纯文本模型对比
|
||||
|
||||
| 维度 | 纯文本 LLM | 多模态 MLLM |
|
||||
|---|---|---|
|
||||
| 输入 | 仅文本 | 文本 + 图像 + 音频 + 视频 |
|
||||
| 参数量 | 较小（相对） | 需额外的视觉编码器参数 |
|
||||
| 推理成本 | 较低 | 较高（视觉 token 开销大） |
|
||||
| 应用范围 | 对话、写作、编程 | 医疗影像、自动驾驶、设计 |
|
||||
| 成熟度 | 较高 | 快速发展中 |
|
||||
|
||||
---
|
||||
|
||||
## 总结
|
||||
|
||||
多模态是 AI 走向通用人工智能（AGI）的关键一步。当前的 V4 Pro/Flash 等纯文本模型虽强，但"看不到世界"仍是巨大局限。理解多模态架构和原理，是理解下一代 AI 的必要基础。
|
||||
|
||||
---
|
||||
|
||||
## 相关链接
|
||||
|
||||
- [[Transformer 架构详解]]
|
||||
- [[DeepSeek V4 系列]]
|
||||
- [[大模型架构基础]]
|
||||
|
||||
---
|
||||
|
||||
*最后更新：2026-08-05*
|
||||
Reference in New Issue
Block a user