14 KiB
mHC：流形约束超连接
原文标题：mHC: Manifold-Constrained Hyper-Connections arXiv：2512.24880 ｜ 发布：2025-12-31（v1），2026-01-05 修订（v2） 作者/机构：Zhenda Xie、Yixuan Wei、Huanqi Cao 等 20 位作者，DeepSeek-AI（深度求索） 原文 PDF：01-mHC-2512.24880.pdf
一、摘要（全文翻译）
近来，以超连接（Hyper-Connections, HC）为代表的研究，通过扩展残差流宽度并多样化连接模式，对过去十年间已被普遍采用的残差连接范式进行了拓展。这种多样化虽然带来了可观的性能收益，却从根本上破坏了残差连接固有的恒等映射（identity mapping）性质，进而导致严重的训练不稳定与可扩展性受限，并且还额外引入了显著的内存访问开销。为应对这些挑战，我们提出了流形约束超连接（Manifold-Constrained Hyper-Connections, mHC），这是一个通用框架：它将 HC 的残差连接空间投影到某个特定流形之上，以恢复恒等映射性质，同时配合严格的基础设施优化来保证效率。实证实验表明，mHC 在大规模训练中是有效的，能够带来切实的性能提升与更优的可扩展性。我们期待 mHC 作为 HC 的一种灵活而实用的扩展，将有助于更深入地理解拓扑架构设计，并为基础模型的演进提示有前景的方向。
二、核心贡献
- 定位 HC 的失效机理：论文指出 HC 中可学习的残差映射
\mathcal{H}_l^{\mathrm{res}}不受约束，多层展开后的复合映射\prod_{i=1}^{L-l}\mathcal{H}_{L-i}^{\mathrm{res}}无法保持特征全局均值，导致信号无界放大或衰减；实测该复合映射的「最大增益幅值」（Amax Gain Magnitude）峰值高达 3000，而理想值应为 1。 - 提出 mHC 通用框架：把 HC 的残差连接空间投影到双随机矩阵流形（伯克霍夫多胞形，Birkhoff polytope）上，既恢复恒等映射的守恒性质，又保留残差流之间的信息交互，避免了「退回恒等矩阵即牺牲表达力」的两难。
- 给出三条严格理论性质：谱范数有界（$|\mathcal{H}_l^{\mathrm{res}}|_2 \le 1$）保证非扩张、双随机矩阵对乘法封闭保证全深度稳定、伯克霍夫多胞形作为置换矩阵的凸包赋予「置换的凸组合」这一几何解释；并对输入/输出映射 $\mathcal{H}_l^{\mathrm{pre}}$、
\mathcal{H}_l^{\mathrm{post}}施加非负约束以避免正负系数组合引起信号抵消。 - 配套系统级优化：通过内核融合、TileLang 混合精度算子、选择性重计算与 DualPipe 通信重叠，把扩展率
n=4时的大规模训练额外时间开销压到仅 6.7%。 - 大规模实证验证：在 3B/9B/27B 的 MoE 模型上，27B 于 8 个下游基准全面超过 Baseline、多数超过 HC（BBH +2.1、DROP +2.3），最终 loss 相对 Baseline 降低 0.021，且计算扩展曲线上的优势随算力提升基本保持。
三、方法与技术要点
3.1 预备：HC 的公式化与动态/静态映射
标准残差连接的单元结构（图 1a）为 $\mathbf{x}_{l+1} = \mathbf{x}_l + \mathcal{F}(\mathbf{x}_l, \mathcal{W}_l)$，递归展开得 $\mathbf{x}_L = \mathbf{x}l + \sum{i=l}^{L-1}\mathcal{F}(\mathbf{x}_i, \mathcal{W}_i)$，其中 \mathbf{x}_l 这一项即所谓恒等映射，它保证浅层信号不加修改地直达深层。HC（图 1b）把残差流宽度由 C 扩到 $n\times C$，单层传播变为
\mathbf{x}_{l+1} = \mathcal{H}_l^{\mathrm{res}}\mathbf{x}_l + \mathcal{H}_l^{\mathrm{post}\top}\mathcal{F}(\mathcal{H}_l^{\mathrm{pre}}\mathbf{x}_l, \mathcal{W}_l),
其中 \mathcal{H}_l^{\mathrm{res}}\in\mathbb{R}^{n\times n} 在残差流内部混合特征，\mathcal{H}_l^{\mathrm{pre}}\in\mathbb{R}^{1\times n} 把 nC 维残差流读成 C 维层输入，\mathcal{H}_l^{\mathrm{post}}\in\mathbb{R}^{1\times n} 把层输出写回残差流。由于 $n$（典型取 4）远小于 $C$，这些额外映射的 FLOPs 开销可忽略，HC 因而把「残差流的信息容量」从与计算量强相关的层输入维度中解耦，成为继模型 FLOPs 与数据量之外的第三条扩展轴。三组映射均由依赖输入的动态部分（经 RMSNorm、tanh 门控与初始化为小值的门控因子 $\alpha$）与静态部分（可学习偏置 $\mathbf{b}$）相加构成。消融（表 1）显示，仅启用 \mathcal{H}_l^{\mathrm{res}} 即得 -0.022 的损失差，三项全开为 $-0.027$，说明残差流内部的信息交换是收益主要来源，也正是 mHC 的着力点。
3.2 两个痛点：数值不稳定与系统开销
（1）数值不稳定。HC 递归展开后为 $\mathbf{x}L = \left(\prod{i=1}^{L-l}\mathcal{H}{L-i}^{\mathrm{res}}\right)\mathbf{x}l + \sum{i=l}^{L-1}\left(\prod{j=1}^{L-1-i}\mathcal{H}_{L-j}^{\mathrm{res}}\right)\mathcal{H}_i^{\mathrm{post}\top}\mathcal{F}(\mathcal{H}_i^{\mathrm{pre}}\mathbf{x}_i, \mathcal{W}_i)$。与标准残差相比，复合映射偏离恒等且不保持特征全局均值，前向与反向都会出现信号爆炸或消失。论文用复合映射的行和最大值（前向）与列和最大值（反向）两个指标刻画，称 Amax Gain Magnitude：27B 模型上该指标峰值约 3000，且 HC 在约 12k step 出现意外 loss 飙升，与梯度范数的不稳定高度相关。（2）系统开销。HC 虽在 FLOPs 上廉价，却撞上「内存墙」：每 token 的残差流维护 I/O 从读 $2C$／写 C 膨胀到读 $(5n+1)C+n^2+2n$／写 $(3n+1)C+n^2+2n$，约为 n 倍；三个映射的中间激活还需为反向保留，显存大增、常需梯度检查点；流水线并行的通信量亦放大 n 倍，气泡更大、吞吐下降。
3.3 流形约束超连接：把残差映射投影到双随机矩阵流形
mHC 的核心（图 1c）是把 \mathcal{H}_l^{\mathrm{res}} 约束到特定流形上。作者指出，原始恒等映射靠 \mathcal{H}_l^{\mathrm{res}}=\mathbf{I} 换来稳定，却完全禁止残差流内部的信息交换，浪费了多流架构的潜力；需要一个「既跨层稳定、又允许流间交互」的中间地带。他们选择双随机矩阵流形（伯克霍夫多胞形）：
\mathcal{P}_{\mathcal{M}^{\mathrm{res}}}(\mathcal{H}_l^{\mathrm{res}}) \coloneq \left\{\mathcal{H}_l^{\mathrm{res}}\in\mathbb{R}^{n\times n}\mid \mathcal{H}_l^{\mathrm{res}}\mathbf{1}_n=\mathbf{1}_n,\ \mathbf{1}_n^{\top}\mathcal{H}_l^{\mathrm{res}}=\mathbf{1}_n^{\top},\ \mathcal{H}_l^{\mathrm{res}}\geqslant 0\right\}.
n=1 时该条件退化为标量 1，恰好恢复原始恒等映射。选择双随机性带来三条性质：范数保持——谱范数 $|\mathcal{H}_l^{\mathrm{res}}|_2\le 1$，映射非扩张，缓解梯度爆炸；复合封闭——双随机矩阵对乘法封闭，故任意深度的复合映射仍是双随机的，稳定性贯穿整个深度；伯克霍夫多胞形的几何解释——该集合是置换矩阵的凸包，残差映射相当于置换的凸组合，反复施加会单调地增强流间信息混合，构成稳健的特征融合机制。此外，输入/输出映射施加 Sigmoid 非负约束（可视作另一类特殊流形投影），防止正负系数组合导致信号抵消。
3.4 参数化与 Sinkhorn-Knopp 投影
为保留完整上下文，mHC 先把隐状态展平成 $\vec{\mathbf{x}}_l=\mathrm{vec}(\mathbf{x}_l)\in\mathbb{R}^{1\times nC}$，再做动态映射（投影矩阵 $\varphi_l^{\mathrm{pre}},\varphi_l^{\mathrm{post}}\in\mathbb{R}^{nC\times n}$、$\varphi_l^{\mathrm{res}}\in\mathbb{R}^{nC\times n^2}$，后者经 \mathrm{mat}(\cdot) 重塑为 $n\times n$），最后经约束得到最终映射：$\mathcal{H}_l^{\mathrm{pre}}=\sigma(\tilde{\mathcal{H}}_l^{\mathrm{pre}})$，$\mathcal{H}_l^{\mathrm{post}}=2\sigma(\tilde{\mathcal{H}}_l^{\mathrm{post}})$，$\mathcal{H}_l^{\mathrm{res}}=\text{Sinkhorn-Knopp}(\tilde{\mathcal{H}}_l^{\mathrm{res}})$。Sinkhorn-Knopp 先用指数函数使元素全为正，再交替对行、列归一化：以 \mathbf{M}^{(0)}=\exp(\tilde{\mathcal{H}}_l^{\mathrm{res}}) 为起点迭代 $\mathbf{M}^{(t)}=\mathcal{T}_r(\mathcal{T}c(\mathbf{M}^{(t-1)}))$，t_{\max}\to\infty 时收敛到双随机矩阵；实践中取 $t{\max}=20$。
3.5 高效基础设施设计
内核融合：RMSNorm 用于高维 \vec{\mathbf{x}}_l\in\mathbb{R}^{1\times nC} 时延迟显著，作者把「除以范数」重排到矩阵乘法之后（等价），并以混合精度（\varphi_l: tfloat32，\vec{\mathbf{x}}_l: bfloat16）与共享访存融合缓解带宽瓶颈。三类专用内核分别计算三个映射，并借助矩阵乘单元把对 \vec{\mathbf{x}}_l 的两次扫描融合、反向的两次矩阵乘合并为一个内核；Sinkhorn-Knopp 迭代在单内核内完成，其反向为自研内核，在片上重算中间结果并遍历整个迭代；应用侧把 $\mathcal{H}l^{\mathrm{post}}$、\mathcal{H}_l^{\mathrm{res}} 与残差合并融合，使该内核读取元素数由 (3n+1)C 降到 $(n+1)C$、写入由 3nC 降到 $nC$。重计算：前向后丢弃 mHC 内核的中间激活，反向时重算（跳过沉重的层函数 $\mathcal{F}$），连续 L_r 层只需保存首层输入 $\mathbf{x}{l_0}$；最优块长由最小化总显存给出 $L_r^{*}=\arg\min_{L_r}\left[nC\times\lceil L/L_r\rceil+(n+2)C\times L_r\right]\approx\sqrt{nL/(n+2)}$，且与流水线阶段边界对齐。DualPipe 通信重叠：扩展 DualPipe 调度，把 MLP 层的 \mathcal{F}_{\mathrm{post,res}} 内核放到专用高优先级计算流上执行，并对注意力层的长时操作不使用持久化内核，以便抢占式调度；各阶段首激活 \mathbf{x}_{l_0} 已在本地缓存，故重计算与流水线通信依赖解耦。
四、主要实验结果
实验基于 DeepSeek-V3 风格的 MoE 架构训练四个模型变体，HC 与 mHC 的扩展率均取 $n=4$：3B、9B、27B（数据量与参数量成比例）为主结果对象，外加一个在 1T token 固定语料上训练的 3B 模型用于观察 token 扩展行为。
| 基准 / 任务（指标，样本数） | 本模型 27B w/ mHC | 对比：27B w/ HC | 对比：27B Baseline | 说明 |
|---|---|---|---|---|
| BBH（EM，3-shot） | 51.0 | 48.9 | 43.8 | mHC 相对 HC 再提升 2.1 |
| DROP（F1，3-shot） | 53.9 | 51.6 | 47.0 | 相对 HC 再提升 2.3 |
| GSM8K（EM，8-shot） | 53.8 | 53.2 | 46.7 | 略优于 HC |
| HellaSwag（Acc.，10-shot） | 74.7 | 74.3 | 73.7 | 小幅领先 |
| MATH（EM，4-shot） | 26.0 | 26.4 | 22.0 | 唯一低于 HC 的基准（−0.4） |
| MMLU（Acc.，5-shot） | 63.4 | 63.0 | 59.0 | 小幅领先 |
| PIQA（Acc.，0-shot） | 80.5 | 79.9 | 78.5 | 小幅领先 |
| TriviaQA（EM，5-shot） | 57.6 | 56.3 | 54.3 | 领先 HC 1.3 |
| 稳定性 / 扩展性 / 系统指标 | 结果 | 说明 |
|---|---|---|
| 27B 最终 loss（相对 Baseline） | −0.021 | mHC 消除了 HC 在第 12k step 附近的 loss 飙升 |
| 复合映射最大增益幅值 | 约 1.6（HC 近 3000） | 降低约三个数量级 |
| 计算扩展（3B→9B→27B） | 相对 loss 优势随算力提升基本保持，仅轻微衰减 | 计算最优配置点 |
| 大规模训练额外时间开销（$n=4$） | 6.7% | 内部大规模训练实测 |
mHC 在 8 个下游基准上全面超过 Baseline，并在其中 7 个上超过 HC：推理类任务提升最明显（BBH +2.1、DROP +2.3），仅在 MATH 上略低于 HC（26.0 对 26.4）。稳定性方面，mHC 的 loss 与梯度范数曲线均与 Baseline 同样平稳，无 HC 那样的突变。传播稳定性上，单层映射因 Sinkhorn-Knopp 只迭代 20 次而使反向梯度增益略偏离 1，复合偏差增大但仍有界（最大约 1.6），相较 HC 的近 3000 降低约三个数量级；图 8 还显示 HC 在最大增益较大时其余元素也普遍偏大（所有传播路径都失稳），而 mHC 始终稳定。
五、结论、局限与影响
- 结论：论文识别出 HC 在扩展残差流宽度、多样化连接的同时，因连接不受约束而导致信号发散、破坏跨层信号能量守恒，进而引发训练不稳定并限制可扩展性。mHC 把残差连接空间投影到特定流形，用 Sinkhorn-Knopp 对残差映射施加双随机约束，将信号传播转化为特征的凸组合；实验证实它恢复了恒等映射性质，可稳定地大规模训练且可扩展性优于 HC，而基础设施优化使这些收益的计算开销几乎可忽略。
- 局限性：论文未设置专门的局限性章节。作者明确提及的近似性只有一处：Sinkhorn-Knopp 需限制迭代次数（取 $t_{\max}=20$）以换取计算效率，因此得到的是近似解，单层映射的反向梯度增益会略偏离 1，复合映射的偏差最大约 1.6。其余方面（例如该约束对表达力上限、对不同
n与不同模型规模的普适边界）论文未明确说明。 - 影响：mHC 被定位为 HC 范式的泛化扩展，作者主张该框架可容纳面向不同学习目标的各种流形约束探索，并期待后续对几何约束的研究能在「可塑性」与「稳定性」间取得更好权衡。论文还希望 mHC 重新激发社区对宏观架构（macro-design）设计的兴趣，通过加深对拓扑结构如何影响优化与表示学习的理解，为下一代基础架构的演进提供新路径。
六、关键术语对照表
| English | 中文 |
|---|---|
| Hyper-Connections (HC) | 超连接 |
| Manifold-Constrained Hyper-Connections (mHC) | 流形约束超连接 |
| Residual Connection | 残差连接 |
| Residual Stream | 残差流 |
| Identity Mapping | 恒等映射 |
Expansion Rate (n) |
扩展率 |
| Doubly Stochastic Matrix | 双随机矩阵 |
| Birkhoff Polytope | 伯克霍夫多胞形 |
| Sinkhorn-Knopp Algorithm | Sinkhorn-Knopp 算法（交替行列归一化） |
| Amax Gain Magnitude | 最大增益幅值 |
| Spectral Norm | 谱范数 |
| Kernel Fusion | 内核融合 |
| Recomputation (Gradient Checkpointing) | 重计算（梯度检查点） |
| DualPipe / Pipeline Parallelism | DualPipe 调度 / 流水线并行 |
| Macro Design / Micro Design | 宏观设计 / 微观设计 |