修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

2026-09-21 10:53:11 +08:00
parent f5b825bd4a
commit 19afe00a86
28 changed files with 486 additions and 130 deletions
@@ -32,7 +32,9 @@

 CED 针对智能体频繁工具调用造成的预填充瓶颈（受 YOCO 启发）：底部 $L/2$ 层作因果编码器，解码器（$l>L/2$）的 KV 条目与压缩权重改由编码器末层隐状态 $H_{L/2}$ 逐层投影得到，

-$$C_l=H_{L/2}W_l^{KV},\qquad Z_l=H_{L/2}W_l^{Z}$$
+$$
+C_l=H_{L/2}W_l^{KV},\qquad Z_l=H_{L/2}W_l^{Z}
+$$

 故预填充只需算前一半层。SWA 仍逐层计算以保持局部表示深度，代价是解码器 SWA KV 需额外处理 $n_{\mathrm{win}}\times L/2$ 个 token——这引出解码器有界重放；与 CSA2 结合时，解码器 Full 模式层直接由 $H_{L/2}$ 计算全局 KV。

@@ -48,7 +50,9 @@ $$C_l=H_{L/2}W_l^{KV},\qquad Z_l=H_{L/2}W_l^{Z}$$

 **Single-Pass m HC**：m HC 在相邻块间维持 $n$ 条残差流；V4 的三内核实现因数据依赖串行，激活访存达 $(4n+4)d$，而理想下界为 $(2n+2)d$。Single-Pass 把输入混合系数后移一个块，

-$$X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_{l-1}X_l)$$
+$$
+X_{l+1}=B_lX_l+C_l\mathcal{F}_l(A_{l-1}X_l)
+$$

 使输入混合不再依赖由 $X_l$ 算出的系数，分块可立即同时用于输入混合与系数预测，达到 $(2n+2)d$ 的理想访存而实测损失可忽略；部署侧融合内核 Mega-m HC 把激活访存减半。**Engram**：沿用 tokenizer 压缩、多头哈希与门控集成，去掉短因果卷积，196B 参数均分两模块（$N$-gram 阶 $\{2,3,4\}$、8 哈希头、FP8），置于第 1、14 层，推理时经 RDMA 从主机内存预取。**DSpark**：3 个窗口 128 的块一次前向并行产出 5 个草稿位置 logits，Markov 头建模草稿间依赖、置信头估计前缀存活概率以选取验证长度；它预训练后单独训练，后训练同训但梯度不回传主干。

@@ -68,7 +72,9 @@ V4 已对 indexer 的 Q/K 使用 FP4 的 QAT；V4.1 把 QAT 扩展到主 KV，

 后训练仍是 SFT → RL → OPD 且无算法改动，收益来自数据与环境：任务形式化为（问题、环境、验证系统）三元组；环境侧，通用智能体由伙伴回传的交互数据构建模拟工具，编码智能体取自内部编码会话与达星标公开仓库。RL 在算力与 scaffold 两维扩展；异步 rollout 与训练共置、按样本级派发维持并发；末段为多域全词表 OPD，用 40 多个可与学生异构的教师。可控推理力度方面，系统提示前插入 `Reasoning Effort: {effort}`（$b\in\{1,\dots,100\}$），同 $(x,b)$ 子组内做奖励均值中心化，长度惩罚

-$$r_{b,j}^{\mathrm{len}}=-\min\left\{C_{\max},\;k(b)\frac{\ell_{b,j}}{L_{\mathrm{norm}}}\right\},\qquad k(b)=k_{0}\exp\left(-\frac{b-b_{\min}}{\tau}\right)$$
+$$
+r_{b,j}^{\mathrm{len}}=-\min\left\{C_{\max},\;k(b)\frac{\ell_{b,j}}{L_{\mathrm{norm}}}\right\},\qquad k(b)=k_{0}\exp\left(-\frac{b-b_{\min}}{\tau}\right)
+$$

 随请求力度指数衰减；公开 API 映射为 max=100、high=75、low=50 三档。