正则化要解决什么：过拟合的本质
过拟合是模型「记住了训练数据，而不是学会了规律」——在训练集上表现出色、在未见数据上拉胯。正则化（regularization）是所有「抑制过拟合」技术的统称，它们的原理可以归为两类：限制模型的表达能力（别学太细——权重衰减让权重保持小、Dropout 随机废掉部分神经元）与增加训练噪声（让模型没法死记——Dropout 的随机性本身是噪声、数据增强让同一内容以不同面貌出现）。
判断过拟合的方法：训练损失与验证损失的剪刀差——训练 loss 一路下降、验证 loss 反而上升，就是过拟合的经典曲线。这条曲线是大模型时代正则化决策的唯一裁判：要不要正则化，看剪刀差，不看教条。
Dropout：随机丢弃的噪声注入
Dropout 的机制：训练时每一步随机「废掉」一部分神经元（置零，通常按比例 p=0.1），推理时全部启用——效果等价于每一步都在训练一个不同的子网络，最终模型是无数子网络的集成。它防过拟合的机制有二：破坏共同适应（神经元之间形成「只有彼此在才能工作」的脆弱依赖，Dropout 强迫每个神经元独立有用）、噪声注入（每步的随机性让模型无法死记某个精确路径）。成本：训练信号变噪（收敛略慢）、推理时要按比例缩放激活（或用 inverted dropout 在训练时缩放）。
大模型时代的反差：预训练几乎不用 Dropout
经典 NLP 模型（Transformer 原论文）用 Dropout 不少（0.1 是标配），但现代大模型的预训练几乎全部关掉 Dropout——这个反差的原因值得拆解。原因一：数据量压倒一切。过拟合的本质是「模型容量 > 数据信息量」，预训练的数据（万亿 token）远大于模型容量（百亿参数能记住的信息）——数据规模本身就是最强的正则化，模型根本没机会过拟合（它连训练集都还没记完）。原因二：Dropout 拖慢训练（同样的学习目标要更多步收敛），在预训练这种以周计的训练里，拖慢就是真金白银。原因三：单轮使用（每个训练样本只见一次）——过拟合的定义是「对同一数据的反复记忆」，单轮训练天然没有这个条件。反差的地方在哪：微调与 SFT——数据小（万级样本）、epoch 多（反复过同一批数据）、模型大（容量远超数据）——过拟合的三个条件全齐，这就是为什么微调场景 Dropout 常常重新开起来（0.05–0.1）、且 epoch 控制至关重要（本库 SFT 篇的「少 epoch」纪律的原理层）。
「正则化随数据量反比」是本篇最重要的元结论：数据越多越不需要正则化，数据越少越需要——它统一了解释预训练（关）与微调（开）的反差。
权重衰减：另一种正则与 AdamW 的纠葛
权重衰减（weight decay）：每步更新时把权重往零的方向轻轻拉一把（权重 = 权重 × (1 − λ) − 学习率 × 梯度）——抑制权重变得过大，等价于对大权重施加惩罚（L2 正则的效果）。它的现代故事是一个著名的工程 bug：Adam 优化器原版实现里，权重衰减被错误地与梯度更新耦合（L2 惩罚被加进梯度再进动量，行为不再是纯粹的权重衰减）——AdamW（本库优化器篇的主角）修复了这个耦合（衰减与梯度解耦），「AdamW 的 W」就是 weight decay 的 W。这个修复对训练的实际影响：正确解耦后的权重衰减才能真正起到正则作用，AdamW 因此成为大模型训练的标准优化器——一段优化器命名的行业史，本质是一个正则化技术的实现 bug 修复。
现代大模型里权重衰减的使用：预训练常配小权重衰减（0.1 量级，主要作用其实是「数值稳定」而非防过拟合——让权重不至于无限增大）、微调时酌情加大。Dropout 与权重衰减的关系：两者正交（一个加噪声、一个压权重），常并用；但微调的小数据场景里，「少 epoch + 早停」往往比调正则化参数更有效——过拟合的第一道防线永远是「别训太久」。
微调场景的正则化实践清单
给微调者的实践清单，按优先级。第一优先：控制 epoch（1–3 个，过了就过拟合——这是最便宜的正则化）。第二：早停（监控验证集 loss，上升即停）。第三：数据多样性（本库 SFT 篇——多样数据是最本质的正则化）。第四：Dropout 0.05–0.1（数据少 epoch 多时开启）。第五：权重衰减 0.01–0.1（AdamW 默认即可，不必迷信大值）。第六：LoRA 本身就是正则化（冻结基座 = 限制改动范围 = 结构性正则，本库 LoRA 篇）——这就是 LoRA 微调比全参微调「更不容易过拟合」的原理层。清单的元结论：微调的正则化，顺序是「数据与训练节奏优先、超参其次」——先把 epoch 与数据搞定，再去调 Dropout 与衰减。
正则化的现代视角：从「防过拟合」到「塑形训练」
正则化在大模型时代的角色（正文）还可以再推深一层：现代训练里的正则化技术，很多已经超越了「防过拟合」的原初目的，变成「塑形训练行为」的工具。案例一：Dropout 的位置学问。Dropout 加在哪一层有讲究——注意力权重的 dropout（抑制过度依赖单一位置）与残差连接的 dropout（抑制捷径学习）效果不同；现代预训练常见配置是「注意力 dropout 关、残差 dropout 小值或关」（大数据下都不太需要）——位置的选择反映了「想抑制什么」。案例二：权重衰减的「稳定器」角色。预训练的小权重衰减（0.1）的主要作用已经不是防过拟合，而是数值稳定（防止个别权重无界增长导致的训练不稳）——它是「训练的安全带」而非「泛化的引擎」。案例三：logit 软化的正则效应。一些训练配方在输出端做温度调节（logits 除以 >1 的系数）——等价于让分布更平滑、抑制过自信，效果类似 label smoothing 但作用在 logits 层。案例四：数据层面的正则化被低估。数据的多样性、清洗质量、配比的均衡（本库数据管线篇）——这些「数据正则化」的效果远超任何超参正则化，且没有训练速度的代价。正则化的元视角：正则化的本质是「往训练里注入你想要的偏好」——防止过拟合只是偏好之一；现代训练用它注入稳定性、校准性、甚至安全倾向（本库安全篇的对齐训练某种意义上是「行为正则化」）。理解了这一层，「正则化」就从一个章节名词变成了训练设计的通用思维工具。
微调的正则化实战：三个场景的三种配置
正则化实践（正文清单）落到三个典型微调场景，给出可以直接抄的配置。场景一：小数据 SFT（几千条对话样本）。风险最高（数据小、epoch 相对多）——配置：epoch 2–3 + 早停（验证 loss 上升即停）、Dropout 0.05–0.1、学习率 1e-5 以下、混入 20% 通用对话数据做回放；LoRA 优先（结构性正则）。场景二：中数据领域微调（数万条领域样本）。风险中等——epoch 1–2、Dropout 可关（数据量上来了）、学习率 2e-5、通用数据混入 10%、weight decay 0.01–0.1 默认。场景三：预训练式的继续训练（百万 token 级领域语料）。风险低（数据量大、单轮使用）——Dropout 关、学习率按规模缩放（比 SFT 大一个量级）、weight decay 0.1（数值稳定器）、配比里通用数据占 30%+ 保遗忘防线。三个场景的共同验收：领域评测（新能力达标）+ 通用回归（旧能力不掉）的双闸门——正则化配置的正确性，最终由这两个闸门裁决而非由「参数好不好看」裁决。配置的迁移警告：别人的「最佳配置」绑定别人的数据规模与模型规模——照抄超参而不按自己的数据量换算（epoch、学习率、混入比例都随数据量调整），是微调新手最常见的「照抄翻车」。
微调的正则化进阶：数据视角的正则化技术
微调的正则化（正文清单）的进阶视角：数据层面的正则化技术——它们没有超参、没有公式，却是效果最深的一层。技术一：数据多样性工程（本库 SFT 篇的矩阵法）——任务类型、难度、风格、长度的覆盖矩阵，多样性的数据本身就是「不许模型死记模式」的约束。技术二：数据配比的遗忘防线——领域数据与通用数据的混入比例（本库持续学习篇的回放策略），配比是遗忘的第一旋钮。技术三：数据顺序的 curriculum——训练数据的呈现顺序（先易后难？先通用后领域？）——curriculum learning 的证据在微调场景 mixed（效果依任务而异），但「把高质量样本放后半程」与退火配合（本库预训练篇的退火喂好数据）是有效实践。技术四：数据质量的分层采样——高质量样本多 epoch、普通样本单 epoch（数据的时间预算按质量分配）。数据正则化的元优势：它作用于「模型学什么」，而超参正则化只作用于「模型怎么学」——前者改变学习的内容分布，后者只改变学习的过程噪声；效果的天平向数据侧倾斜，这也是「SFT 问题九成在数据」的正则化视角注脚。
小结
正则化防过拟合的两类原理：限制表达（权重衰减）与加噪声（Dropout）。Dropout 随机废神经元训练子网络集成，权重衰减压权重（AdamW 修复了 Adam 的实现 bug 才让它名副其实）。大模型时代的反差——预训练关 Dropout、微调重开——由「正则化需求与数据量成反比」统一解释（预训练数据海量无过拟合条件，微调小数据多 epoch 三条件全齐）。微调实践清单按优先级：控制 epoch、早停、数据多样性、Dropout 0.05–0.1、适度衰减、LoRA 本身即结构性正则——数据与节奏优先，超参其次。
读者留言
COMMENTS 暂无还没有留言，来说第一句？