学习率是训练最重要的超参（本库已有专篇），但「学习率随训练怎么变」同样关键：warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」，读完能看懂任何模型报告里的 LR Schedule 曲线。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体（label smoothing、辅助损失、对比损失）各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色，以及对比损失在 Embedding 训练里的位置。

预训练是所有大模型能力的源头，但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑，读完能看懂任何一份模型技术报告的预训练章节。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

malloc 返回的指针为什么「立刻可用」却几乎不花时间？一台 64GB 机器为什么能 mmap 500GB 的文件？本篇拆解虚拟内存这台「期望兑现机器」：四级页表的层级与开销、缺页中断的完整旅程、TLB 与大页的经济学，以及 THP 与 MGLRU 这对自动化与性能的恩怨。

同样是发文件，普通路径要 4 次拷贝 2 次系统调用，Kafka 却能在一台普通机器上把消费速率顶到网卡极限——差距就在零拷贝。本篇算清 read+write 的完整拷贝账单，讲透 sendfile 与 SG-DMA 的两档进化、splice 与 mmap 的取舍，以及 nginx 与 TLS 时代的现实约束。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

In this tutorial, we implement **Kauldron**, the JAX training library from Google Research that describes itself as opti…

Learn how to leverage NVIDIA’s cuDNN Frontend Graph API to build custom kernel fusions, autotuning engine configurations…