大学数学复习 → 读懂大模型论文 · 4 周
Attention(Q,K,V) = softmax(QKᵀ / √d)·V
4周
2–3h每天投入（约 70 小时）
4个主题
3篇检验论文
当前：W01
勾选进度保存在这个浏览器里，换设备或清除浏览器数据后不会保留。
确定清空？
每周打卡
按周学习计划
为什么学这些
论文里的公式对应哪些数学
| 论文里常见的东西 | 需要的数学 |
|---|---|
Attention softmax(QKᵀ/√d)V | 矩阵乘法、点积、softmax。√d 来自方差：d 个独立的单位方差项相加，方差是 d，除以 √d 后方差回到 1 |
| LoRA、低秩近似 | 秩、矩阵分解、SVD |
| RoPE 位置编码 | 旋转矩阵、复数 |
| LayerNorm / RMSNorm | 均值、方差 |
| 损失函数、困惑度 perplexity | 对数、交叉熵、KL 散度、最大似然；perplexity = exp(平均交叉熵) |
| 反向传播、Adam | 偏导、梯度、链式法则、矩阵求导 |
| Scaling Laws | 幂律、对数坐标 |
| RLHF / PPO / DPO / GRPO | 期望、策略梯度、KL 约束、Bradley-Terry 模型（sigmoid） |
| 扩散模型、VAE | 高斯分布、马尔可夫链、ELBO、Jensen 不等式 |
怎么学
学习方法
每个概念走三步
3B1B 建立直觉，课程或教材学严格定义，最后用 NumPy 写一遍验证。例如手写 softmax，再用数值差分检查推出来的梯度。
追踪每个矩阵的 shape
读每个公式都在旁边写出维度，如 Q: n×d。很多”看不懂”其实是维度没理清。
按目标决定学多深
习题不必全做。一个知识点能解释论文里的某个公式，就可以往下走。行列式手算技巧、Jordan 标准形、积分技巧、级数收敛判别、组合计数难题都先跳过。
论文读三遍
第一遍只看摘要、图和结论；第二遍看方法，公式先跳过；第三遍把关键公式推一遍（Keshav《How to Read a Paper》的方法）。
LLM 当助教，自己验算
可以让模型解释公式，但结论要自己推一遍或跑一遍代码。模型给的推导会出错。
写出来才算懂
每学完一块在博客写一篇。讲不清楚的地方，就是还没懂的地方。
参考资料
课程与书
线性代数
- 3Blue1Brown《线性代数的本质》先看，B 站有中文字幕版
- MIT 18.06（Gilbert Strang）教材 Introduction to Linear Algebra；计划里的讲次按这套视频编号
- 宋浩《线性代数》B 站，中文备选
微积分
- 3Blue1Brown《微积分的本质》
- Khan Academy Multivariable Calculus偏导、梯度、多元链式法则
- 宋浩《高等数学》B 站，中文备选，只挑导数、偏导、泰勒
概率统计
- Harvard Stat 110（Joe Blitzstein）
- Introduction to ProbabilityBlitzstein & Hwang，官方免费 PDF
- 宋浩《概率论与数理统计》B 站，中文备选
衔接机器学习
- Mathematics for Machine LearningDeisenroth、Faisal、Ong，第 2–7 章
- The Matrix Calculus You Need for Deep Learning
- Visual Information TheoryChris Olah
- 《动手学深度学习》优化章节
- Karpathy: Neural Networks: Zero to Hero
按需进阶
- Sutton & Barto《Reinforcement Learning》免费
- OpenAI Spinning Up
- Lilian Weng: What are Diffusion Models?
- Understanding Diffusion Models: A Unified PerspectiveCalvin Luo
- Understanding Deep LearningSimon Prince，免费 PDF
- Convex OptimizationBoyd & Vandenberghe，只读前几章
读论文的辅助
- The Illustrated TransformerJay Alammar
- The Annotated TransformerHarvard NLP
- Stanford CS336Language Modeling from Scratch
- MindThink AI 路线图数学打好后，按它的 8 个阶段读论文
课程和书都是长期公开的资料，但链接和最新版本没有逐一核实，开始学之前请打开确认。计划按每天 2–3 小时、每周 6 天学习加 1 天复习估算；每天只有 1 小时的话，一个月完不成，请顺延。一个月之后按需再读：Chinchilla（2203.15556）、InstructGPT（2203.02155）、GRPO 与 DeepSeek-R1（2402.03300、2501.12948）、DDPM（2006.11239），对应的强化学习和扩散数学见“按需进阶”。