修正: deepseek 笔记 96 处块级公式改为多行写法(适配 SilverBullet 行首锚点), 索引脚本同步 _abstract 命名

2026-09-21 10:53:11 +08:00
parent f5b825bd4a
commit 19afe00a86
28 changed files with 486 additions and 130 deletions
@@ -35,7 +35,9 @@ Common Crawl 部分沿用 DeepSeekMath 的迭代召回流程：以 StackOverflow

 DeepSeek-Coder-V2 16B 同时使用两个训练目标——下一词预测（Next-Token-Prediction, NTP）与中间填充（Fill-In-the-Middle, FIM）；236B 版本只使用 NTP。FIM 采用 PSM（Prefix, Suffix, Middle）模式，在文档级别的预打包阶段把内容重排为「前缀—后缀—中间」的重建序列：

-$$\texttt{<｜fim\_begin｜>}f_{pre}\texttt{<｜fim\_hole｜>}f_{suf}\texttt{<｜fim\_end｜>}f_{middle}\texttt{<|eos\_token|>}$$
+$$
+\texttt{<｜fim\_begin｜>}f_{pre}\texttt{<｜fim\_hole｜>}f_{suf}\texttt{<｜fim\_end｜>}f_{middle}\texttt{<|eos\_token|>}
+$$

 FIM 的使用率为 0.5。这样设计的动因是：IDE 里的代码补全场景往往是「已知前后文、要补中间的空洞」，纯因果语言建模无法直接建模这种结构，而 FIM 让模型学会利用前后文双向线索完成缺省片段。