从0训练LLM(旧版 · 存档中)
沿一条主线，从 0 走通一个现代大模型：分词 → Transformer → 预训练 → SFT → 对齐与 RL → 推理与架构。每个模块都有页内交互实验、分层资料和从 0 搭的项目任务。
主线 · 按顺序学
M1
分词：把文字变成数字
神经网络只认识数字。你写的每一句话，在进入模型之前，都会被切成一串「token」并编号。这一步的每个决定，都会跟随模型一生。
阅读+实验 ≈ 45 分钟 实验 ×3 已完成
→
M2
手搭 Transformer：让 token 互相看见
M1 把文字变成了一串 token id。但这串数字里，每个 token 还是彼此孤立的。Transformer 干的唯一一件核心的事：让每个 token 去看其他 token…
阅读+实验 ≈ 60 分钟 实验 ×3 已完成
→
M3
预训练
M2 搭好了 Transformer 的骨架，但它几千万个参数还全是随机数——现在它输出的是纯噪声。预训练就是用海量文本，通过「预测下一个词」这唯一一个任务，把随机权重训练成真…
阅读+实验 ≈ 70 分钟 实验 ×3 已完成
→
M4
SFT 指令微调
M3 训出的模型只会“续写”——你问它问题，它接着往下编，而不是回答。SFT（监督微调）用少量高质量的“问-答”示范，教会它一件事：遇到问题要回答，而且按对话的格式回答。关键洞…
阅读+实验 ≈ 60 分钟 实验 ×2 已完成
→
M5
对齐与强化学习
SFT 教会了模型“回答问题”，但它只会模仿示范，不知道回答的好坏。对齐用强化学习，让模型按“人类更喜欢哪个”来优化。这一节的主线是一条清晰的“砍模型”演进：PPO → DPO…
阅读+实验 ≈ 75 分钟 实验 ×2 已完成
→
M6
推理与现代架构
模型训好了，怎么让它又快又省地跑起来？推理阶段有一整套和训练完全不同的工程。主线是一个瓶颈——KV cache——以及围绕它演化出的现代架构：GQA/MLA 压缓存、MoE 稀…
阅读+实验 ≈ 70 分钟 实验 ×2 已完成
→
M7
前沿解剖：读懂 Kimi K3 技术报告
你已经学完从分词到推理的全部六个模块。现在做一次实战：拆开 2026 年 7 月刚发布的 Kimi K3——2.8T 参数、开放权重、47 页技术报告。你会发现里面每一个概念都…
阅读+实验 ≈ 90 分钟 实验 ×5 已完成
→
M8
前沿三强：通往 1M 上下文的三条路
2026 年夏天，Kimi K3、DeepSeek V4、GLM-5.2 的权重先后落地，三家都把上下文推到了 100 万 token。同一道题，三种解法——K3 不存、V4 …
阅读+实验 ≈ 75 分钟 实验 ×4 已完成
→