课程学习研究：从简单到复杂的训练编排策略

「先学简单的，再学难的」是人类教育的直觉，也被移植进深度学习四分之一个世纪：Elman 1993 年在语言习得模拟实验里发现，让网络先见短句再见长句，语法学习能力显著优于随机顺序。但把这个直觉放进现代预训练，结论远没有那么干净——课程学习在强化学习里是常规武器，在大语言模型预训练里却长期处于「理论上诱人、实证上摇摆」的状态。2023 到 2025 年，随着 DoReMi、Skill-It、难度课程推理训练等工作的出现，这个方向重新活跃，且呈现出一个清晰的变化：课程的重心从「样本顺序」转移到了「数据配比」与「训练阶段编排」。本文梳理这条研究线的经典结论、大模型时代的新证据，以及尚未收敛的争议。

一、经典理论与成立条件

从 Elman 到 Bengio：课程学习的提出

课程学习作为机器学习术语由 Bengio, Louradour, Collobert, Weston 在 ICML 2009 的「Curriculum Learning」一文中确立。论文把训练分布设计成形如指数衰减的加权：早期以简单样本为主，随训练推进逐步提升困难样本权重，并给出了一个直观的类比——受控课程比未经组织的训练数据更接近人类教学。实验在 ConvNet 图像任务与 NLP 任务上显示：课程顺序有时能加速收敛并小幅提升最终精度，但收益并不普遍。这篇论文留下的最重要遗产其实是开放性：它把「数据该以什么顺序喂给模型」从工程习惯变成了可研究的问题。

什么时候有用：容量与训练时长的边界条件

Hacohen 与 Weinshall 的「On the Power of Curriculum Learning in Training Deep Networks」（ICML 2019）给出了至今最有解释力的边界条件：课程收益是「小网络现象」。在小容量网络上，简单到难的课程既加速收敛又提升最终精度；但随着网络变大、训练变长，收益先缩小后消失，极端情况下课程反而有害——因为随机顺序本质上是多轮全量复习，而课程顺序相当于单遍有偏采样，训练预算充足时后者引入的偏差无法被洗掉。论文还用「难度」的两种定义（样本级：网络对样本的置信度；任务级：数据分布的可压缩性）验证了收益的稳健性。这条结论预演了后来大模型预训练里课程实验的失意：现代 LLM 的参数量与训练时长恰好都落在「收益消失」的区间。它同时暗示了一个反直觉的管理结论——课程学习不是免费的再排序，而是一种有偏的调度，只有在容量受限或预算受限时才值得用偏差换速度。

flowchart TD
    A["原始语料池"] --> B["打分与分桶<br/>难度 / 领域 / 技能"]
    B --> C["排序策略"]
    C --> C1["样本级课程<br/>易到难重排"]
    C --> C2["配比级课程<br/>DoReMi 域权重"]
    C --> C3["阶段级课程<br/>WSD 末段退火"]
    C1 --> D["预训练主阶段"]
    C2 --> D
    D --> E["退火阶段<br/>高质量数据 + 学习率衰减"]
    C3 --> E
    E --> F["下游评测"]
    F -->|"代理模型先行验证"| B

二、大模型预训练里的课程证据

域权重优化：DoReMi 把课程从顺序变成配比

大模型预训练的真实问题不是样本顺序，而是多个语料域（网页、代码、论文、百科、对话）的混合比例。Google 的 DoReMi（Xie et al.，NeurIPS 2023）把这个选择变成可优化问题：先训一个小代理模型（280M），用群组分布鲁棒优化（Group DRO）自动搜索一组域权重，使代理模型在最差域上的损失最小化，再把搜出的权重用于大规模预训练。结果：在 GLaMP 等基准上平均下游精度提升约 3.3 个百分点，低资源域最高提升约 13.4 个百分点，权重放大到 8B 模型上收益保持，且预训练损失更低、训练更稳定。DoReMi 的方法论价值在于把「课程」从脆弱的人工排列升级为可复现的优化问题，并以小代理模型先行搜索来摊薄大模型的试错成本——这个「代理模型先行」的模式已被后续数据工程工作广泛沿用。

技能视角与末段退火

MIT 与 Microsoft 的 Skill-It（Chen et al.，NeurIPS 2023）提供了另一个视角：把语料分解为技能（事实性、推理、翻译、摘要等），估计技能间的迁移图谱，按迁移效率排序混合，在持续预训练与低资源场景下比随机混合更快达到同等精度。它印证了一个更细的规律：课程的价值不在「简单优先」，而在「高迁移先于低迁移」。

与排序并行发展的，是阶段级课程——训练末段的退火。MiniCPM（Hu et al.，2024，OpenBMB 与清华）系统采用了 WSD 调度（Warmup-Stable-Decay），把稳定段的高产出与末段高质量数据退火结合；Meta 的 LLaMA 3（2024）则公开了退火实操：在预训练最后阶段用教育质量分类器筛选的高质量数据混合做学习率退火，并跑了两个退火实验来挑选最终配比。末段退火本质上是一种「倒置课程」——在模型容量与梯度信噪比最高时，把最难、最干净的数据放在训练终点，这与人类「考前重点复习」的结构同构，也是目前业界配方里唯一被普遍承认的显式课程成分。值得注意的是，主流开源配方（LLaMA、Qwen 系列）几乎没有公开采用样本级顺序课程，全部收益都来自配比与退火——这与 Hacohen-Weinshall 的边界条件在产业尺度上互为印证。

三、强化学习与推理训练里的课程

环境自动生成：从 POET 到 PLR

强化学习是课程学习最成功的战场，因为「难度」在这里有客观刻度（成功率、回报）。Uber AI 的 POET（Wang et al.，2019）让环境与智能体协同演化：算法持续生成新环境，只保留恰好卡在当前能力边缘的挑战，探索因此可以无限延伸。Google DeepMind 与 BAIR 的 PAIRED（Dennis et al.，NeurIPS 2020）将其形式化为无监督环境设计（Unsupervised Environment Design），用对抗式智能体自动生成处于对手能力边界的任务。JD 的 PLR（Jiang et al.，ICML 2021，由 UCSD 与 BAIR 完成）则用学习进度（learning progress）给候选课程打分，优先采样「学习价值高」的环境。这三个工作共同确立了一条课程学习的强规律：课程最有效的形态不是静态排序，而是动态的「能力-难度」匹配器——难度要贴着当前能力走，这就是维果茨基「最近发展区」的算法化。

推理训练的难度分桶：RLVR 时代的课程实践

2025 年，可验证奖励强化学习（RLVR）把课程学习带回了大模型训练的中央。推理训练的通行实践是按通过率给题目分桶：太简单的题目梯度信号为零（全对），太难的题目信号也为零（全错），只有通过率处于中段的题目才提供有效的学习信号。Agentica 的 DeepScaleR（2025）是这一路线的代表：用约 2.4 万道精选竞赛题（AIME/AMC/Omni-MATH 等），对 1.5B 的 DeepSeek-R1-Distill 基座做难度过滤后的 GRPO 训练，AIME 2024 pass@1 达到 43.1%，超过 o1-preview 的约 39.2%——一个 1.5B 模型进入竞赛级区间，难度课程与上下文长度渐进扩展（8K 到 24K）被认为是关键配方之一。这再次复现了 RL 课程的经典结构：不是把简单题排前面，而是动态过滤掉「当前学不到东西」的样本。

多语言与多模态：课程假设的下一个实验场

样本级课程在单语预训练上缺乏正结果，但在数据高度异构的场景里仍有未检验的空间。多语言预训练的采样权重就是事实上的课程问题：XLM-R（Conneau et al.，2020）用与语料规模不均匀的采样比例平衡高低资源语言，BLOOM（Le Scao et al.，2022）用温度参数调节采样分布，这些选择对低资源语言最终能力的影响被反复证明是决定性的——同一模型在两种采样温度下，低资源语言的下游成绩可以差出两位数。多模态混合同理：视觉-文本、音频-文本的配比在各大训练报告里都被列为最重要的超参数之一。这些场景的共同点是「域间迁移高度不对称」（高资源域知识可以单向流向低资源域），因此按迁移效率安排学习顺序的理论依据比单语场景充分得多——Skill-It 的技能迁移图谱思路在这里仍然适用，只是图节点从「技能」换成了「语言与模态」。

四、开放问题与实践建议

为什么大模型预训练的顺序课程迟迟没有正结果

综合目前的证据，可以给出一个诚实的解释框架：其一，容量与时长边界条件——预训练的多 epoch 全量复习会稀释任何单遍排序的效应；其二，难度不可靠——「难度」通常用小模型损失或 perplexity 代理，而小模型觉得难的样本未必对大模型有信息量，代理失准使课程退化为噪声重排；其三，配比与退火抢走了大部分收益空间——DoReMi 与 WSD 已经拿走了数据编排里的低垂果实，样本顺序的边际增量小到难以在评测噪声中区分。这并不意味着方向死了：多模态、多语言、长上下文扩展等数据高度异构的新场景里，排序自由度更大，课程假设仍然值得检验。

给工程师的操作清单

第一，不要做样本级重排，先做配比：用小代理模型跑 DoReMi 式权重搜索，成本可控且收益已被复现。第二，把退火当作标配：末段高质量数据加学习率衰减，是当前所有主流配方里收益最确定的一环。第三，RL 训练必须做难度过滤：按通过率分桶，动态剔除零信号样本，预算再紧也不能省。第四，所有课程实验先在小模型上验证迁移性，大模型上的课程实验如果没有多个随机种子与统计检验，结论基本不可信——评测噪声远大于典型课程收益。

小结

课程学习十五年的研究史是一部「假设被反复修正」的历史：Bengio 时代相信顺序本身有魔力，2019 年被修正为容量与预算的边界现象，大模型时代又被重构为三个更可操作的形式——DoReMi 的配比优化、WSD 的末段退火、RLVR 的难度分桶。真正存活下来的课程，没有一个是「把数据从易到难排队」，全部都是「让训练动态匹配模型当前的学习能力」。这或许正是这个方向最深刻的经验：课程的价值不在教学顺序，而在信号管理——把学习信号浪费在已掌握或不可及的内容上才是真正的敌人。对于在训练基础设施上投入越来越重的团队，数据编排已与模型架构同级重要，而课程学习的研究结论恰好给出了其中收益最确定的三块基石。