File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change 11# LLM Learning Notes
22
3- 个人语言模型与后训练学习笔记,使用 MkDocs Material 构建并发布到 GitHub Pages 。
3+ 语言模型、强化学习与后训练学习笔记。正文保留 Markdown 原稿,数学公式使用 LaTeX 编写 。
44
5- ## 本地预览
5+ ## 在线阅读
66
7- ``` bash
8- python3 -m venv .venv
9- source .venv/bin/activate
10- python -m pip install -r requirements.txt
11- mkdocs serve
12- ```
7+ - [ LLM 学习笔记] ( https://kaining-never-stop.github.io/llm-learning-notes/ )
8+
9+ ## 已收录
10+
11+ ### 后训练
1312
14- 浏览器打开 < http ://127.0.0.1:8000 > 。
13+ - [ 在分布视角下理解语言模型后训练 ] ( https ://kaining-never-stop.github.io/llm-learning-notes/post-training/distributional-view/ )
1514
16- ## 添加新文章
15+ 从自回归序列分布和概率树出发,梳理 SFT、RL、On-Policy Distillation 的训练对象、更新信号,以及它们在泛化与灾难性遗忘上的差异。
1716
18- 1 . 将 Markdown 文件放入 ` docs/ ` 下合适的主题目录;
19- 2 . 在 ` mkdocs.yml ` 的 ` nav ` 中加入文章;
20- 3 . 本地执行 ` mkdocs serve ` 检查;
21- 4 . 提交并推送到 ` main ` ,GitHub Actions 会自动发布。
17+ ## 获取笔记
2218
19+ - [ 下载全部笔记(ZIP)] ( https://github.com/kaining-never-stop/llm-learning-notes/archive/refs/heads/main.zip )
20+ - [ 查看 Markdown 原文] ( docs/ )
21+
22+ 也可以克隆仓库,后续通过 ` git pull ` 获取更新:
23+
24+ ``` bash
25+ git clone https://github.com/kaining-never-stop/llm-learning-notes.git
26+ ```
Original file line number Diff line number Diff line change 1+ # 获取笔记
2+
3+ ## 下载完整内容
4+
5+ 不使用 Git 时,可以直接下载压缩包:
6+
7+ - [ 下载 ` main ` 分支 ZIP] ( https://github.com/kaining-never-stop/llm-learning-notes/archive/refs/heads/main.zip )
8+
9+ 解压后,Markdown 原文位于 ` docs/ ` 目录,图片等资源也会保留原有相对路径。
10+
11+ 如果希望以后继续获取更新,可以克隆仓库:
12+
13+ ``` bash
14+ git clone https://github.com/kaining-never-stop/llm-learning-notes.git
15+ ```
16+
17+ 仓库更新后,在该目录执行:
18+
19+ ``` bash
20+ git pull
21+ ```
22+
23+ ## 下载单篇文章
24+
25+ ### 在分布视角下理解语言模型后训练
26+
27+ - [ 在线阅读] ( post-training/distributional-view.md )
28+ - [ 查看 GitHub 中的 Markdown 文件] ( https://github.com/kaining-never-stop/llm-learning-notes/blob/main/docs/post-training/distributional-view.md )
29+ - [ 打开 Markdown 原文] ( https://raw.githubusercontent.com/kaining-never-stop/llm-learning-notes/main/docs/post-training/distributional-view.md )
30+
31+ 打开原文后,可以使用浏览器的“保存页面”功能保存为 ` .md ` 文件。
Original file line number Diff line number Diff line change 11# LLM 学习笔记
22
3- 这里用于持续整理语言模型 、强化学习与后训练相关的学习笔记。
3+ 这里收录语言模型 、强化学习与后训练相关的学习笔记。内容以 Markdown 保存,公式使用 LaTeX 编写,可以在线阅读,也可以下载原文 。
44
5- 笔记尽量遵循三个原则:
5+ ## 已收录
66
7- - 从底层原理出发,而不是只记录结论;
8- - 使用数学公式明确对象之间的关系;
9- - 区分个人理解、作者观点与已经验证的结论。
7+ ### 在分布视角下理解语言模型后训练
108
11- ## 当前内容
9+ 从“语言模型是一个序列分布”出发,将生成过程展开成自回归概率树,并在同一视角下比较:
1210
13- ### 后训练
11+ - SFT 如何沿外部示范路径提高 Token 概率;
12+ - RL 如何从当前策略采样,并根据 Reward 调整路径概率;
13+ - OPD 如何在 Student 访问的状态上学习 Teacher 分布;
14+ - On-Policy Data 为什么可能减少遗忘并改善泛化。
1415
15- - [ 在分布视角下理解语言模型后训练 ] ( post-training/distributional-view.md )
16+ [ 阅读文章 ] ( post-training/distributional-view.md ) { .md-button .md-button--primary }
1617
17- 使用自回归概率树统一理解 SFT、RL、On-Policy Distillation,以及它们在泛化和灾难性遗忘上的差异。
18+ ## 获取原文
1819
19- ## 后续方向
20-
21- - Reinforcement Learning with Verifiable Rewards(RLVR)
22- - GRPO 与 Policy Gradient
23- - On-Policy Distillation(OPD)
24- - Single-Rollout 与采样分布
25- - 语言模型训练与推理系统
20+ - [ 下载全部笔记(ZIP)] ( https://github.com/kaining-never-stop/llm-learning-notes/archive/refs/heads/main.zip )
21+ - [ 查看 GitHub 仓库] ( https://github.com/kaining-never-stop/llm-learning-notes )
22+ - [ 下载本文 Markdown 原文] ( https://raw.githubusercontent.com/kaining-never-stop/llm-learning-notes/main/docs/post-training/distributional-view.md )
2623
24+ 更多下载方式见[ 获取笔记] ( download.md ) 。
Original file line number Diff line number Diff line change 4848 - 首页 : index.md
4949 - 后训练 :
5050 - 在分布视角下理解后训练 : post-training/distributional-view.md
51+ - 获取笔记 : download.md
5152
5253plugins :
5354 - search :
You can’t perform that action at this time.
0 commit comments