修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

大模型/deepseek/01-基础模型/06-DeepSeek-V4-2606.19348_abstract.md

@@ -28,11 +28,15 @@
 
 标准超连接（HC）把残差流宽度扩大 $n_{\text{hc}}$ 倍，引入输入映射 $A_l$、残差变换 $B_l$、输出映射 $C_l$：
 
-$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_lX_l)$$
+$$
+X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_lX_l)
+$$
 
 它把残差宽度与隐藏维度解耦，提供开销很小的额外扩展轴（$n_{\text{hc}}\ll d$），但多层堆叠时训练频繁数值不稳定。mHC 的核心是把 $B_l$ 约束到双随机矩阵（Birkhoff 多面体）流形：
 
-$$B_l\in\mathcal{M}\coloneq\{M\in\mathbb{R}^{n\times n}\mid M\mathbf{1}_n=\mathbf{1}_n,\ \mathbf{1}_n^{T}M=\mathbf{1}_n^{T},\ M\geqslant 0\}$$
+$$
+B_l\in\mathcal{M}\coloneq\{M\in\mathbb{R}^{n\times n}\mid M\mathbf{1}_n=\mathbf{1}_n,\ \mathbf{1}_n^{T}M=\mathbf{1}_n^{T},\ M\geqslant 0\}
+$$
 
 该约束保证 $\|B_l\|_2\le 1$、残差变换非扩张，且 $\mathcal{M}$ 对乘法封闭，故深层堆叠仍稳定；$A_l$、$C_l$ 另用 Sigmoid 约束为非负有界以避免信号抵消。三个映射的参数动态生成（输入相关项 + 静态偏置 + 小初始化门控因子），投影到流形用 Sinkhorn-Knopp 迭代（先 $\exp$ 保证正性，再反复行列归一化，$t_{\max}=20$）。
 
@@ -61,7 +65,9 @@ Muon 用于绝大多数模块，embedding、预测头、mHC 的静态偏置与
 
 后训练沿用 V3.2 流水线，但用同策略蒸馏（OPD）取代混合 RL：先按领域独立训练专家（SFT + GRPO），难验证的任务放弃标量奖励模型，改为在 rubric 引导下用生成式奖励模型（GRM）评价轨迹并把 RL 施加于 GRM 自身；随后用十余个教师模型做多教师 OPD 合并进单一学生：
 
-$$\mathcal{L}_{\text{OPD}}(\theta)=\sum_{i=1}^{N}w_i\cdot \mathrm{D}_{\text{KL}}\!\left(\pi_\theta\parallel\pi_{E_i}\right)$$
+$$
+\mathcal{L}_{\text{OPD}}(\theta)=\sum_{i=1}^{N}w_i\cdot \mathrm{D}_{\text{KL}}\!\left(\pi_\theta\parallel\pi_{E_i}\right)
+$$
 
 与以往把全词表 KL 简化为逐 token 估计不同，此处保留完整 logit 分布以降低梯度方差。基础设施还包括作用于 MoE 专家权重与 CSA 索引器 QK 路径的 FP4 量化感知训练（top-k 选择器加速 2×，保留 99.7% KV 召回）。