将 note 笔记库同步到 note_sync，AI_compiler 作为 submodule

2026-08-20 17:42:14 +08:00
commit 8a4210f380
44 changed files with 5080 additions and 0 deletions
@@ -0,0 +1,125 @@
+# DeepSeek V4 系列
+
+> 发布日期：2026年4月24日 | 开源协议：MIT
+
+## 概述
+
+DeepSeek V4 是深度求索（DeepSeek）在 2026 年 4 月发布的新一代大语言模型系列，包含两个版本：
+
+| | V4 Pro（旗舰版） | V4 Flash（轻量版） |
+|---|---|---|
+| **总参数量** | 1.6T（1.6万亿） | 284B（2840亿） |
+| **激活参数** | ~36B/token | 13B/token |
+| **上下文窗口** | 1M tokens | 1M tokens |
+| **架构** | MoE（混合专家） | MoE（混合专家） |
+| **定位** | 旗舰性能，对标 GPT-5 | 低成本、低延迟，接近 Pro 推理能力 |
+
+---
+
+## 核心技术架构
+
+### 1. 混合专家架构（Mixture-of-Experts, MoE）
+
+- V4 Pro：384 个专家/层，每次推理激活 6 个
+- V4 Flash：精简专家数量，每次推理激活 13B 参数
+- 优势：总参数大但计算量可控，推理效率高
+
+### 2. 混合注意力机制（Hybrid Attention）
+
+- **DSA2 稀疏注意力**：降低长上下文的计算开销
+- **CSA（压缩稀疏注意力）+ HCA（重度压缩注意力）**（Flash）：
+  - KV 缓存内存开销降低高达 90%
+  - 在 1M 上下文下，单 token 推理 FLOPs 仅为 V3.2 的 27%
+  - KV 缓存仅为 V3.2 的 10%
+
+### 3. 其他关键技术
+
+- **流形约束超连接（mHC）**：增强残差连接，改善跨层信号传播
+- **Muon 优化器**：加速收敛，提升训练稳定性
+- **多 Token 预测（MTP）**：一次预测多个 token，加速生成
+- **DSpark 推测解码**（Flash）：集成草稿模块加速推理
+
+---
+
+## 三种推理模式
+
+| 模式 | 说明 | 适用场景 |
+|---|---|---|
+| **Non-think（低）** | 快速、直观的响应 | 简单对话、翻译、摘要 |
+| **Think High（高）** | 显式思维链推理 | 逻辑推理、规划任务 |
+| **Think Max（最大）** | 最大推理深度 | 复杂数学、竞赛编程 |
+
+---
+
+## 关键基准测试
+
+### V4 Pro 亮点
+
+| 基准测试 | 得分 | 对比 |
+|---|---|---|
+| Codeforces Rating | 3206 | 超越 Gemini 3.1-Pro |
+| LiveCodeBench | 93.5 | 与 GPT-5.4 竞争 |
+| MMLU-Pro | — | 接近 GPT-5 水平 |
+
+### V4 Flash 亮点
+
+| 基准测试 | 得分 |
+|---|---|
+| MMLU-Pro (EM) | 87.5 |
+| GPQA Diamond | 90.1 |
+| LiveCodeBench | 93.5 |
+| SWE Verified (Resolved) | 80.6 |
+| Terminal Bench 2.1 | 82.7 |
+| BrowseComp | 83.4 |
+
+---
+
+## 定价对比
+
+### V4 Pro（通过 DeepInfra）
+
+| Token 类型 | 每百万 Token 价格 |
+|---|---|
+| 输入 | $1.74 |
+| 输出 | $3.48 |
+| 缓存输入 | $0.145 |
+
+### V4 Flash
+
+| Token 类型 | 每百万 Token 价格 |
+|---|---|
+| 输入 | ~$0.14 |
+| 输出 | ~$0.28 |
+
+> V4 Pro 输出成本比 Claude Opus 4.7（$25/1M）便宜约 7 倍
+
+---
+
+## 独立评测（NIST/CAISI，2026年5月）
+
+- V4 Pro 性能约为 **GPT-5 水平**（2025年8月发布）
+- 距美国最前沿模型约 **8 个月**差距
+- CAISI 测试过的**最强中国 AI 模型**
+- 在某些非公开基准（ARC-AGI-2、CTF-Archive-Diamond）上明显落后于 GPT-5.5 和 Opus 4.6
+
+---
+
+## 战略意义
+
+1. **芯片自主**：与华为昇腾（Ascend）、寒武纪合作优化，不依赖 NVIDIA/AMD
+2. **开源生态**：MIT 协议开源，模型权重在 Hugging Face 上公开
+3. **与 GPT-5.5 同日发布**：中美 AI 竞争白热化的标志性事件
+4. **自我定位坦诚**：官方公开承认距前沿 3-6 个月差距
+
+---
+
+## 相关链接
+
+- [[Transformer 架构详解]]
+- [[MoE 混合专家架构]]
+- [[多模态大模型]]
+- [[大模型架构基础]]
+
+---
+
+*最后更新：2026-08-05*