阶段 10

从零构建大语言模型

Build, train, and understand large language models.

01分词器：BPE、WordPiece、SentencePieceBuild~90 minutes测验 02从零构建分词器Build~90 minutes测验 03预训练的数据 pipelineBuild~90 minutes测验 04预训练一个 Mini GPT（1.24 亿参数）Build~120 minutes测验 05扩展：分布式训练、FSDP、DeepSpeedBuild~120 minutes测验 06指令微调（SFT）Build~90 minutes测验 07RLHF：奖励模型 + PPOBuild~90 minutes测验 08DPO：直接偏好优化（Direct Preference Optimization）Build~90 minutes测验 09宪法式 AI 与自我改进Build~45 minutes 10评估：基准测试、评测套件与 LM HarnessBuild~90 minutes测验 11量化：让模型装得下Build~120 minutes测验 12推理优化Build~120 minutes测验 13构建完整的 LLM PipelineBuild~120 minutes 14开源模型：架构走读Learn~45 minutes 15投机解码与 EAGLE-3Build~75 minutes 16差分注意力（V2）Build~60 minutes 17原生稀疏注意力（DeepSeek NSA）Build~60 minutes 18多 token 预测（MTP）Build~60 minutes 19DualPipe 并行Learn~60 minutes 20DeepSeek-V3 架构详解Learn~75 minutes 21Jamba —— 混合 SSM-TransformerLearn~60 minutes 22异步与 Hogwild! 推理Build~60 minutes 25投机解码与 EAGLEBuild~75 minutes 34梯度 checkpoint 与激活重计算Build~70 minutes 35训练资源核算：FLOPs、显存与挂钟时间Build~65 minutes测验 36Web Corpus Cleaning: Filtering, Deduplication, and MixingBuild~70 minutes测验

“Stay hungry, stay foolish.”

— Steve Jobs