修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

大模型/deepseek/01-基础模型/01-DeepSeek-LLM-2401.02954_abstract.md

@@ -55,23 +55,33 @@
 
 **超参数缩放定律**：在 1e17 预算的小规模实验上网格搜索批大小与学习率，发现泛化误差在很宽区间内保持稳定；把误差超出最小值不超过 0.25% 的参数视为「近最优」，并借多步调度器复用第一阶段，在 1e17–2e19 训练多组模型拟合得到：
 
-$$\eta_{\mathrm{opt}} = 0.3118 \cdot C^{-0.1250}, \qquad B_{\mathrm{opt}} = 0.2920 \cdot C^{0.3271}$$
+$$
+\eta_{\mathrm{opt}} = 0.3118 \cdot C^{-0.1250}, \qquad B_{\mathrm{opt}} = 0.2920 \cdot C^{0.3271}
+$$
 
 即算力越大，最优批大小越大、学习率越小。作者坦承该式未考虑算力之外的因素，同等算力下不同配比的最优参数空间亦略有差异。
 
 **新的模型规模表示**：$C=6ND$ 忽略了注意力算子的开销（完整参数版本还计入对容量贡献较小的词表计算），小模型上误差可达 50%。作者改用非嵌入 FLOPs/token $M$：
 
-$$6N_1 = 72\,n_{layer}\,d_{model}^{2},\quad 6N_2 = 72\,n_{layer}\,d_{model}^{2}+6\,n_{vocab}\,d_{model}$$
+$$
+6N_1 = 72\,n_{layer}\,d_{model}^{2},\quad 6N_2 = 72\,n_{layer}\,d_{model}^{2}+6\,n_{vocab}\,d_{model}
+$$
 
-$$M = 72\,n_{layer}\,d_{model}^{2}+12\,n_{layer}\,d_{model}\,l_{seq}, \qquad C = MD$$
+$$
+M = 72\,n_{layer}\,d_{model}^{2}+12\,n_{layer}\,d_{model}\,l_{seq}, \qquad C = MD
+$$
 
 其中 $6N_1/M$ 在 0.43–0.92、$6N_2/M$ 在 0.81–1.32 之间，偏差具有系统性。优化目标形式化为：
 
-$$M_{\mathrm{opt}}(C), D_{\mathrm{opt}}(C)=\underset{M,D\ \mathrm{s.t.}\ C=MD}{\mathrm{argmin}} L(N,D)$$
+$$
+M_{\mathrm{opt}}(C), D_{\mathrm{opt}}(C)=\underset{M,D\ \mathrm{s.t.}\ C=MD}{\mathrm{argmin}} L(N,D)
+$$
 
 采用 Chinchilla 的 IsoFLOP profile，取 8 个算力预算（1e17–3e20）、每预算约 10 种配比，超参数由上式确定，泛化误差在含 100M token 的独立验证集上以 bits-per-byte 度量。拟合结果：
 
-$$M_{\mathrm{opt}} = 0.1715 \cdot C^{0.5243}, \qquad D_{\mathrm{opt}} = 5.8316 \cdot C^{0.4757}$$
+$$
+M_{\mathrm{opt}} = 0.1715 \cdot C^{0.5243}, \qquad D_{\mathrm{opt}} = 5.8316 \cdot C^{0.4757}
+$$
 
 即模型规模指数略大于数据规模指数，算力增长应更多投向模型；该曲线成功预测了 7B/67B 性能（小规模实验可预测 1000 倍算力的模型）。