AI 导读
斯坦福经典公开课 CS336《Language Modeling from Scratch》核心模块精华讲解，涵盖 Tokenizer 与 BPE 底层、1PB 互联网脏数据清洗流水线（去重/去毒/加权）、扩展定律与算力配平（405B 配 15.6T tokens）、ChatGPT 对齐流程（SFT → Reward Model → PPO）以及 bf16 与 AMP 混合精度训练系统工程。
正文
1. 课程出处：本视频实际为斯坦福经典公开课（对应 Stanford CS336: Language Modeling from Scratch）的核心模块精华讲解，非第三方外包通告；
2. 核心章节速查：
• 00:00 Tokenizer 为什么必须是子词与 BPE 底层
• 21:10 1PB 互联网脏数据清洗流水线（去重/去毒/加权）
• 43:35 扩展定律与算力配平（为什么 405B 必须配 15.6T tokens）
• 68:20 ChatGPT 对齐真相（SFT → Reward Model → PPO）
• 88:15 训练系统工程：bf16 与 AMP 混合精度实现
来源：@AYi_AInotes · x.com