深入理解 DeepSeek-V3：大规模缩放挑战与对 AI 架构硬件的反思（中文精读）

原文标题：Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures arXiv：2505.09343 ｜发布：14 May 2025（最后修订 23 Dec 2025） 作者/机构：Chenggang Zhao、Chengqi Deng、Chong Ruan、Damai Dai、Huazuo Gao、Jiashi Li、Liyue Zhang、Panpan Huang、Shangyan Zhou、Shirong Ma、Wenfeng Liang、Ying He、Yuqing Wang、Yuxuan Liu、Y.X. Wei（通讯作者 Yuqing Wang、Liyue Zhang；作者按名字字母序排列），DeepSeek-AI（深度求索）。ISCA 2025 工业 track 论文（第 52 届国际计算机体系结构研讨会，2025 年 6 月 21–25 日，东京），DOI 10.1145/3695053.3731412 原文 PDF：02-Insights-into-DeepSeek-V3-2505.09343.pdf

一、摘要（全文翻译）

大语言模型（Large Language Models, LLMs）的快速扩展，暴露出当前硬件架构中的若干关键局限，包括内存容量、计算效率与互联带宽方面的约束。在 2,048 张 NVIDIA H800 GPU 上训练而成的 DeepSeek-V3 表明，硬件感知的模型协同设计（hardware-aware model co-design）能够有效应对这些挑战，从而在规模化条件下实现高性价比的训练与推理。本文对 DeepSeek-V3/R1 的模型架构及其 AI 基础设施进行了深入分析，重点阐述了若干关键创新，例如用于提升内存效率的多头潜在注意力（Multi-head Latent Attention, MLA）、用于优化计算—通信权衡的混合专家（Mixture of Experts, MoE）架构、用于释放硬件能力全部潜力的 FP8 混合精度训练，以及用于最小化集群级网络开销的多平面网络拓扑（Multi-Plane Network Topology）。基于 DeepSeek-V3 开发过程中所遭遇的硬件瓶颈，我们与学术界及工业界同行就未来硬件的可能方向展开了更广泛的讨论，包括精确的低精度计算单元、scale-up 与 scale-out 的融合，以及低延迟通信网络（fabrics）方面的创新。这些洞见凸显了硬件与模型协同设计在满足不断攀升的 AI 负载需求中的关键作用，并为下一代 AI 系统的创新提供了一份可落地的蓝图。

二、核心贡献

硬件感知协同设计复盘：不复述技术报告，而把三大挑战与每项设计针对的硬件痛点一一对应。
MLA 压缩 KV 缓存：把各头 KV 压为小潜在向量并只缓存它，每 token 仅 70.272 KB，为 Qwen-2.5 72B（GQA）的 1/4.66、LLaMA-3.1 405B 的 1/7.28。
MoE 成本效益量化：671B 总参、每 token 激活 37B，训练算力约 250 GFLOPS/token，而 72B 与 405B 稠密模型需 394 与 2448，即少一个数量级算力达到相当性能。
FP8 训练实践与硬件批判：细粒度量化下相对 BF16 精度损失低于 0.25%；并指出 Hopper 累加精度仅等效 FP22，建议原生支持细粒度量化。
LogFMT 通信压缩：自适应步长在同比特宽下精度更高，但编解码与 all-to-all 融合开销达 50%~100%，最终未采用。
互联与网络协同设计：以「弃用 TP + DualPipe + EP」配合节点受限路由规避 IB 瓶颈；两层多平面 Fat-Tree 支撑 16,384 端点、单价 4.39 k$/端点，实测与原多轨网络持平。

三、方法与技术要点

3.1 三大挑战与推理速度上限

论文先量化矛盾：LLM 内存需求年增超 1000%，HBM 容量年增却不足 50%。内存效率上，KV 缓存把单 token 生成复杂度降为 $O(N)$，但计算退化为 GEMV 后转为访存带宽受限；MLA 用联合训练的投影矩阵把所有头的 KV 压成小潜在向量、推理只缓存它。成本效益上，MoE 只激活部分专家（V2 236B/21B，V3 671B/37B），使 AI SoC 的 PC 也能接近 20 TPS。推理速度上，以双微批次重叠把 all-to-all 藏在计算之后，生产再以预填充／解码分离分配不同 EP 组大小。

延迟侧给出上限推导：MoE 要快需让每台设备只算一个专家，这就必须 all-to-all 路由 token，故上限由互联带宽决定。设每设备持一个专家、每批约 32 token：


\text{Comm. Time}=(1\text{B}+2\text{B})\times 32\times 9\times 7\text{K}/50\text{GB/s}=120.96\,\mu s

其中 dispatch 用 FP8、combine 用 BF16，隐藏维约 7K，系数 9 = 8 个路由专家 + 1 个共享专家。双微批次重叠且计算开销可忽略时，61 层共 14.76 ms，上限约 67 tokens/s；换成 GB200 NVL72 的 900 GB/s 则上限 0.82 ms ≈ 1200 tokens/s（论文强调纯属理论）。堆硬件太贵，算法必须分担：**多 token 预测（MTP）**每模块仅一个轻量单层，实测第二后继 token 接受率 80%~90%、TPS 提升 1.8 倍，略损吞吐却显著降低生成延迟，并因每步多 token 增大推理批量、提升 EP 计算强度。

验证采用「小模型充分消融 → 少量大规模调参 → 一次完整训练集成」，如 FP8 先在 16B/230B 的 V2 上消融。

3.2 低精度驱动设计

FP8 混合精度训练：Transformer Engine 虽早支持 FP8 训练，但此前无开源大模型采用。V3 为 MoE 构建 FP8 训练框架，激活按 1×128 tile、权重按 128×128 block 细粒度量化（开源为 DeepGEMM）。两条硬件限制：Hopper Tensor Core 把 32 个尾数积按最大指数对齐后只保留最高 13 个小数位、累加进 FP22 寄存器，危及训练稳定性；反量化需把部分和从 Tensor Core 搬到 CUDA Core 乘缩放因子，开销大。建议累加精度改为 FP32 或可配置，并让 Tensor Core 原生接收缩放因子做分组缩放矩阵乘（如 Blackwell 的 microscaling）。

LogFMT 通信压缩：EP 的 dispatch 已用 FP8 使通信量较 BF16 减少 50%，combine 仍为 BF16。所提 LogFMT-nBit 对 1×128 tile 取对数求 min/max：最小值编码 $S.00\cdots01$、最大 $S.11\cdots11$，步长 $Step=\frac{max-min}{2^{n-1}-2}$，零值编码 $S.00\cdots00$，其余取整到 Step 的整数倍 K，解码 $\exp^{min+Step\times(K-1)}$。因 min 与 Step 按块局部计算，范围可动态适配；论文强调必须在线性空间取整才无偏，并约束 min>max-\log(2^{32}) 使范围与 E5 相当。约 7B 模型上模拟 combine：n=8 精度优于 E4M3/E5M2，n=10 接近 BF16。但编解码与 all-to-all 融合开销高达 50%~100%，最终未采用，建议硬件提供原生编解码单元。

3.3 互联驱动设计

H800 为合规把节点内 NVLink 从 900 GB/s 削到 400 GB/s，故每节点配 8 张 400G CX7 IB 网卡补偿。并行策略据此确定：训练避免 TP（推理可用以改善 TTFT/TPOT）、用 DualPipe 重叠注意力与 MoE 计算和 MoE 通信、EP 的 all-to-all 超过 40 GB/s（开源实现 DeepEP）。节点受限路由源于 scale-up 与 scale-out 约 4:1 的带宽差（NVLink 200 GB/s、实测约 160；单网卡有效按 40 GB/s）。以 8 节点 64 GPU、256 专家为例：每 token 去 1 个共享 + 8 个路由专家，若其散布 8 个节点则 IB 耗时为 $8t$；若发往同一节点的 token 只经 IB 发一次、再在节点内用 NVLink 转发，去重后降为 $Mt$（M 为目标节点数）。既然流量只取决于 M，模型侧把 256 专家分 8 组分驻 8 个节点，并保证每 token 最多路由到 4 个节点。代价是内核更复杂：SM 既填 QP/WQE 又做转发，训练时最多 20 个 SM 用于通信；在线推理则让 EP all-to-all 全走网卡 RDMA 以避开争用。论文建议把这些任务卸载给专用硬件：统一网络适配器（单 LID/IP 加策略路由）、专用通信协处理器（类 TMA 加速 load/store）、灵活转发／广播／reduce 机制与硬件同步原语；并建议暴露流量类别 TC、把网卡集成进 I/O die，以缓解 KV 缓存传输与 EP 通信对 PCIe 的争用。

3.4 大规模网络驱动设计

多平面 Fat-Tree（MPFT）：每节点 8 GPU + 8 张 IB 网卡，每对 GPU–NIC 归属一个独立平面，另有 400 Gbps RoCE 网卡接入存储平面访问 3FS。64 端口 400G IB 交换机让两层拓扑理论上支持 16,384 GPU，但受政策监管最终只部署两千余张。受 CX7 限制未达理想形态——理想是每网卡多端口、bonding 为单一逻辑接口、单 QP 跨所有端口收发（类似 packet spraying），这会使包乱序到达，要求网卡原生支持乱序落位（CX-8 已支持 4 个平面）。它作为多轨 Fat-Tree（MRFT）的特例可复用 NCCL 与 PXN 优化，且成本与延迟更低。实测 MPFT 与 MRFT 几乎持平：all-to-all 性能相近、EP 模式每 GPU 超过 40 GB/s、2048 GPU 训练 V3 的吞吐与 MFU 差异落在测量误差内；但跨平面通信仍需节点内转发。

低延迟网络：按 50 GB/s 带宽，前述传输理想耗时约 120 μs，故微秒级固有延迟不可忽略。64B 传输的 CPU 侧端到端延迟为 IB 同叶 2.8 μs、跨叶 3.7 μs，优于 RoCE 的 3.6/5.6 μs，但 IB 更贵、交换机端口更少（64 对 128）。RoCE 改进建议：（1）开发专为 RDMA 优化的低延迟交换机、去掉冗余以太网特性；（2）改用自适应路由——默认 ECMP 难以分摊缺乏随机性的 LLM 训练流量，造成 NCCL 集合通信拥塞退化；（3）改进拥塞控制——all-to-all 突发多对一会引发 incast，可用 VOQ 按 QP 隔离或 RTTCC 等可编程拥塞控制。IBGDA 让 GPU 直接填工作请求（WR）并写 RDMA doorbell 的 MMIO 地址，把控制面移入 GPU，消除 CPU 代理线程的 GPU–CPU 延迟。

3.5 面向未来硬件架构的洞见

稳健性：互联间歇断连在 EP 中危害极大，节点／GPU／ECC 故障迫使重启，ECC 检测不到的静默数据损坏会在长任务中无声传播且只能靠应用层缓解，故建议硬件级校验和与冗余校验。CPU 与互联：PCIe 在参数、梯度或 KV 传输时成为瓶颈，应改直连或纳入 scale-up 域；打满 160 lane PCIe 5.0 需每节点超过 640 GB/s，对 DRAM 是巨大挑战。智能网络：共封装光学、端点驱动拥塞控制与自适应路由。内存语义定序：写入后必须 fence 才能更新标志位，多出一次 RTT 且阻塞发起线程；建议硬件内建 acquire/release：接收端用包序号（PSN）保序，或用区域化 RAR 以位图与区域计数器跟踪区域状态而免除发送端 fence。近网计算与压缩：dispatch 形似小规模多播，硬件自动复制转发可省大量开销。内存中心创新：DRAM 堆叠（如 SeDRAM）适合访存受限的 MoE 推理；晶圆级系统（SoW）最大化密度与带宽。

四、主要实验结果

基准 / 任务	本模型	对比对象	说明
每 token KV 缓存（BF16）	DeepSeek-V3（MLA）70.272 KB，1×	Qwen-2.5 72B（GQA）327.680 KB，4.66×；LLaMA-3.1 405B（GQA）516.096 KB，7.28×	论文 Table 1：MLA 把 KV 压为潜在向量
每 token 训练计算量（序列长度 4096）	DeepSeek-V3 MoE（671B）250 GFLOPS/Token	DeepSeek-V2 MoE（236B）155；Qwen-72B Dense 394；LLaMa-405B Dense 2448	论文 Table 2：MoE 以少一个数量级算力达到相当性能
FP8 训练相对精度损失	< 0.25%	BF16 基线	在 16B 与 230B 的 DeepSeek-V2 上消融
MTP 投机解码收益	第二后继 token 接受率 80%~90%，TPS 提升 1.8×	无 MTP 模块	略损吞吐换取端到端延迟下降，并增大推理批量
推理速度理论上限（双微批次重叠、计算开销可忽略）	H800 + 400G IB：14.76 ms TPOT ≈ 67 tokens/s	GB200 NVL72（900 GB/s）：0.82 ms TPOT ≈ 1200 tokens/s	后者论文注明纯属理论，实际因小批量效率下降会显著更低
网络拓扑规模与成本	MPFT：16,384 端点、768 交换机、16,384 链路、72 M$、4.39 k$/端点	FT2：2,048 端点、9 M$、4.39；FT3：65,536 端点、491 M$、7.5；SF：32,928 端点、4.4；DF：261,632 端点、5.8	论文 Table 3，成本估算沿用 Slim Fly 论文方法
V3 训练指标（2048 GPU）	MPFT：272.80 tokens/day（B）、19.926 s/step、TFLOPS(non-causal) 432、TFLOPS(causal) 385、MFU(non-causal) 43.73%、MFU(causal) 38.94%	MRFT：272.52、19.946、432、385、43.68%、38.90%	论文 Table 4：差异在正常波动与测量误差内
NCCL all-to-all 与 EP 通信	MPFT：每 GPU 超过 40 GB/s；32→128 GPU 性能与 MRFT 相近，16 GPU 延迟差异可忽略	MRFT（单平面多轨）	论文 Figure 5–7，PXN 机制使多平面同样受益
端到端延迟（64B 传输，CPU 侧）	InfiniBand：同叶 2.8 μs、跨叶 3.7 μs	RoCE：同叶 3.6 μs、跨叶 5.6 μs；NVLink：3.33 μs	论文 Table 5：IB 延迟最低，但更贵且交换机端口更少

本文定位为架构反思而非模型评测，故无下游任务基准分数，上述测量集中在内存与算力开销、网络拓扑与延迟三类。MLA 的 KV 缓存领先 GQA 方案 4.66~7.28 倍，MoE 每 token 算力省约一个数量级，多平面 Fat-Tree 把端点从 2,048 扩至 16,384 而单价仍为 4.39 k$/端点；但论文承认推理上限的实际达成受通信开销与带宽利用制约，1200 TPS 仅为理论值。

五、结论、局限与影响

结论：DeepSeek-V3 展示了软硬件协同设计在提升大规模 AI 系统可扩展性、效率与稳健性上的变革潜力，其路线图可直接指导下一代面向 AI 优化的硬件设计。
局限性（论文自述）：FP8 在 Hopper 上累加精度受限（等效 FP22），细粒度量化反量化开销大；LogFMT 虽有效，却因 log/exp 带宽不足与寄存器压力，融合 all-to-all 时开销达 50%~100% 而未被采用；H800 的 NVLink 被削至 400 GB/s，训练时最多 20 个 SM 被通信占用；MPFT 受 ConnectX-7 限制未达理想架构，跨平面通信需节点内转发；受监管约束集群只部署两千余张 GPU（拓扑理论上支持 16,384）；推理上限分析为理想化情形，1200 TPS 属理论推算；RoCE 在延迟与可扩展性上仍不满足需求。
影响：本文把「模型架构决策—硬件瓶颈—下一代硬件需求」的因果链公开化，给出可执行的协同设计清单（原生细粒度量化与可配置累加精度、scale-up/scale-out 统一与专用通信协处理器、内存语义通信的硬件定序、近网计算与压缩、DRAM 堆叠与晶圆级集成），并以 DeepEP、DeepGEMM 等开源实现降低复现门槛。

六、关键术语对照表

English	中文
Multi-head Latent Attention (MLA)	多头潜在注意力
Mixture of Experts (MoE)	混合专家
Expert Parallelism (EP) / Tensor Parallelism (TP) / Pipeline Parallelism (PP)	专家并行 / 张量并行 / 流水线并行
FP8 Mixed-Precision Training	FP8 混合精度训练
Fine-Grained Quantization (tile-wise / block-wise)	细粒度量化（tile 级 / block 级）
FP22 / Accumulation Precision	FP22 / 累加精度
LogFMT (Logarithmic Floating-Point Formats)	对数浮点格式
Multi-Plane Fat-Tree (MPFT) / Multi-Rail Fat-Tree (MRFT)	多平面胖树 / 多轨胖树
Node-Limited Routing	节点受限路由
Multi-Token Prediction (MTP)	多 token 预测
DualPipe / DeepEP / DeepGEMM	DualPipe / DeepEP / DeepGEMM（训练调度、通信库与矩阵乘库）
InfiniBand GPUDirect Async (IBGDA)	InfiniBand GPU 直接异步通信
Remote Direct Memory Access (RDMA) / RoCE	远程直接内存访问 / 融合以太网 RDMA
Packet Spraying / PXN	包喷洒 / NCCL 的 NVLink 转发优化（PXN）
Time Per Output Token (TPOT) / Model Flops Utilization (MFU)	每输出 token 耗时 / 模型算力利用率
Silent Data Corruption	静默数据损坏
Memory-Semantic Communication / acquire-release ordering	内存语义通信 / acquire-release 定序
System-on-Wafer (SoW)	晶圆级系统

16 KiB Raw Permalink Blame History Unescape Escape