多模态大模型（Multimodal LLM, MLLM）

什么是多模态？

模态（Modality） = 数据的感知/表达形式。人类通过多种模态理解世界：

模态	示例
文本	文章、代码、对话
图像	照片、图表、截图
音频	语音、音乐、环境声
视频	连续图像帧 + 音频

多模态大模型 = 能同时理解和处理多种模态数据的 AI 模型，而非仅限于文本。

为什么需要多模态？

纯文本模型只能"读文字"，无法"看图片"、"听声音"。

现实世界的信息天然是多模态的：

医生既要看病历（文本），也要看 CT 片（图像）
自动驾驶需要同时处理摄像头（图像）、雷达（点云）、地图（结构化数据）
社交媒体帖子包含文字 + 图片 + 视频

基本架构（三大组件）

┌─────────────────────┐
│   视觉编码器         │  ← 处理图像/视频输入
│   Vision Encoder    │     (如 ViT、SigLIP)
└────────┬────────────┘
         │ 视觉特征
         ▼
┌─────────────────────┐
│   投影器/连接器      │  ← 将视觉特征映射到语言空间
│   Projector         │     (如 MLP、Q-Former)
└────────┬────────────┘
         │ 对齐后的 token
         ▼
┌─────────────────────┐
│   大语言模型         │  ← 核心推理引擎
│   LLM Backbone      │     (如 DeepSeek、LLaMA、Qwen)
└─────────────────────┘

工作流程

图像 → 视觉编码器 → 视觉特征向量
视觉特征 → 投影器 → 对齐到语言模型的 token 空间
文本 token + 视觉 token → LLM → 生成回复

核心能力

能力	说明	示例
视觉问答（VQA）	根据图片回答问题	"这张图里有几只猫？"
图像描述	自动生成图片文字描述	为盲人描述照片内容
多模态对话	图文混合交互	"分析这张财报图表"
OCR 理解	理解图片中的文字	识别截图、海报、PDF
视觉推理	多步骤逻辑推理	"如果把这个方块旋转90°会怎样？"

主流多模态模型（2025-2026）

模型	开发商	特点
GPT-4V / GPT-4o	OpenAI	原生多模态，实时语音+视觉
Gemini 系列	Google	原生多模态，Ultra/Pro/Flash/Nano 全系覆盖
Claude 系列	Anthropic	强大的图像理解、图表分析能力
Qwen-VL 系列	阿里通义	开源，中英双语
InternVL 系列	上海 AI 实验室	开源，CVPR 2025 发表 Mono-InternVL
DeepSeek-VL	DeepSeek	注意：V4 系列目前仅文本，视觉版待发布
LLaVA 系列	学术界	开源先驱，推动 MLLM 研究方向

2025 年前沿方向

1. 高效/轻量化 MLLM

视觉 Token 压缩（降低 Transformer 二次复杂度）
MoE 架构（如 MoE-LLaVA）
边缘设备部署（MobileVLM、TinyLLaVA、Gemini Nano）

2. 单体式 MLLM（Monolithic MLLM）

Mono-InternVL（CVPR 2025）：将视觉编码直接集成到 LLM 内部
减少 67% 首 Token 延迟，解决灾难性遗忘

3. 长链视觉推理

Insight-V：多智能体系统（推理 agent + 总结 agent）
跨 7 个基准平均提升 7.5%

4. 统一多模态表征

UnifiedMLLM：单一模型处理多种多模态任务

主要挑战

长序列效率：一张图 = 数百到数千个 token，多图/视频成本极高
幻觉问题：模型可能"看到"不存在的物体
计算成本：训练和推理资源消耗远超纯文本模型
评估困难：多模态基准测试尚不成熟
安全对齐：视觉输入可能绕过文本安全过滤器

与纯文本模型对比

维度	纯文本 LLM	多模态 MLLM
输入	仅文本	文本 + 图像 + 音频 + 视频
参数量	较小（相对）	需额外的视觉编码器参数
推理成本	较低	较高（视觉 token 开销大）
应用范围	对话、写作、编程	医疗影像、自动驾驶、设计
成熟度	较高	快速发展中

总结

多模态是 AI 走向通用人工智能（AGI）的关键一步。当前的 V4 Pro/Flash 等纯文本模型虽强，但"看不到世界"仍是巨大局限。理解多模态架构和原理，是理解下一代 AI 的必要基础。

4.8 KiB Raw Blame History Unescape Escape