从禁忌到主流：合成数据的立场变迁
「用 AI 生成的数据训练 AI」曾是个带贬义的警告——2023 年的模型崩塌（model collapse）研究给了它理论依据：递归使用模型生成数据训练，分布的尾部（稀有样本）逐代丢失，几代之后模型退化成只会输出高频模式的复读机。这个警示在数学上成立，但它假设的是无甄别的递归——后续研究与工业实践修正了这个结论的前提：只要合成数据经过筛选、去重、与真实数据混合，崩塌并非必然。
立场转变的推手是数据墙（本库已有专篇）：高质量互联网文本有限，预训练对数据的饥饿推动前沿实验室把合成数据写进配方。到 2025 年前后的公开信息，主流推理模型的后训练数据里合成比例已占大头——「模型生成数据训练模型」从异端变成了标准工艺，问题只剩「怎么生成、怎么筛」。
phi 路线：教科书质量假设
微软 phi 系列把合成数据的第一个卖点做成了标签：数据质量比数量重要。phi-1（2023）用「教科书质量」的合成代码数据（1.3B 参数、7B token 的精致小数据）在 HumanEval 上打平当时大得多的模型——「小模型 + 高质量数据」的性价比叙事由此成立。phi 系列的工艺要点是数据生成即课程设计：不是让模型随便写题，而是先规划知识点（变量、函数、递归……），针对每个知识点生成练习与讲解——像编写教科书一样构造数据集。
这条路线的深层主张：LLM 训练数据的瓶颈不是 token 数量，是「信息密度」——互联网文本里大量是冗余、口语与重复，而「为学习目的精心组织的内容」（教科书、习题、带解答的推导）单位 token 的知识密度高得多。合成数据的真正威力是可以定制密度：让模型按课程大纲生成「恰好覆盖某个薄弱知识点」的练习，这是任何爬取都做不到的精准。
R1 式推理数据：可验证性是合成数据的作弊码
推理模型的爆发让合成数据进入第二阶段：可验证领域的自我增强。数学与代码的独特之处在于答案可以机器验证（程序跑得通、推导对得上）——模型生成海量「问题 + 推理链 + 答案」，用验证器筛掉错误，只保留通过的数据进入训练。这就是 R1 式蒸馏数据（本库蒸馏篇讲过下游应用）的上游：生成是廉价的、验证是可靠的，筛出来的数据质量有保证。
可验证合成数据的威力在自我增强的闭环：模型变强 → 生成更难的题并解出 → 训练数据变强 → 模型更强。AlphaZero 式的「自我对弈提升」在语言推理领域首次跑通——它的边界也清晰：只在可验证的领域闭环成立（数学、代码、逻辑 puzzle），开放式写作、常识推理没有廉价验证器，「筛」的环节失效，回到模型崩塌的风险区。合成数据研究的前沿之一正是把「验证」扩展到更多领域：用多数投票替代精确验证（软验证）、用更强模型当裁判（LLM-as-judge）、用环境反馈验证（agent 任务的执行结果）——每扩一寸，合成数据的适用版图就多一寸。
flowchart LR
A["种子模型"] --> B["生成候选<br>（问题+推理链+答案）"]
B --> C{"可验证？"}
C -->|"数学/代码：验证器"| D["筛选：只留通过的"]
C -->|"开放领域：软验证"| E["多数投票 / 裁判模型 / 环境反馈"]
D --> F["训练数据（与真实数据混合）"]
E --> F
F --> G["训练更强模型"]
G --> B
风险清单：合成数据的四个坑
同质化：模型的生成分布天然偏向高频模式，不加干预的合成数据集 diversity 递减——长尾能力与创造性受损（模型崩塌的温和版）。对策是生成时的多样性强制（温度、提示词多样化、反向放大长尾）与训练时的数据配比控制。错误放大：验证器有假阳性——通过的样本不都对，「系统性偏差」会在迭代中被放大；可验证领域靠精确验证器兜底，软验证领域的这个坑是真实存在的。污染与回声：合成数据可能复现训练数据的版权内容或测试集（基准污染的新途径），且「互联网上已混入模型生成文本」让「真实数据」的定义本身在漂移——未来的数据溯源与水印（本库 AIGC 检测篇会讲）是关联战场。评估失真：用合成数据训练的模型在「合成风格的评测」上虚高——评估集与训练集的同源化会让进步的假象放大，对抗手段是保留独立的、人类原创的评测层。
数据配比的混合律：真实与合成的最优比例
合成数据工业化后的核心参数是配比：真实数据与合成数据怎么混。研究的经验结论在收敛。合成不是替代而是放大器：纯合成训练的模型崩塌（正文），但「真实打底 + 合成放大」的组合稳定优于纯真实——合成数据的角色是「把真实数据里学到的模式做密集化练习」，而非提供新知识。配比的任务相关：推理与代码任务（可验证合成）的合成占比可以很高（七成以上仍有收益），开放域任务（写作、对话）的合成占比要显著压低（同质化税重）——「验证器质量」再次成为配比的决定变量。质量分层比总量重要：用验证器或裁判筛过的合成数据，小而精胜过大而杂——这与 phi 路线的「教科书质量」假设互为印证。评估要隔离：混入合成数据的训练必须配「人类原创、不与合成同源」的评估集，否则进步是幻觉（正文风险四）。一个实用的观察指标：前沿实验室的技术报告开始披露「合成数据占比与来源类别」——透明度的提升本身就是合成数据主流化的标志，而「配比科学」（data mixture science）正在成为继 scaling law 之后数据工程的核心议题。
合成数据的版权暗礁：模型生成的著作权归属
合成数据工业化撞上的最新暗礁是版权：模型生成的训练数据，权属是什么。法律现状的不明朗三层。其一，AI 生成物的可版权性：多数法域（含中国近期判例）对「纯 AI 生成」内容不承认著作权或要求人类独创性投入——合成数据集的「财产权」基础模糊。其二，对上游的侵权风险：合成数据若「复现」了教师训练数据里的受版权内容（记忆化输出），下游使用者可能被追索——「蒸馏出记忆」的检测（与水印检测同源的技术）成为合成数据供应链的尽调项。其三，许可链条的断裂：教师模型的许可条款对「用其输出训练新模型」的授权范围（正文蒸馏合规篇）+ 生成内容的权属不确定，让合成数据集的许可声明几乎都靠免责条款撑着。产业的应对姿势：合成数据的供应商开始提供「溯源报告」（生成模型、提示词分布、去重与记忆化检测的证据）；企业采购合成数据集的尽调清单加上版权项；法律界在等待第一个「合成数据训练的模型侵权案」的判例。对数据工程团队的务实建议：合成数据的生成记录全程留痕（模型版本、提示、筛选规则），记忆化检测纳入管线（与训练数据查重同款工具），版权敏感领域（新闻、文学）的合成占比从严——这些不消除风险，但把风险变成可管理与可辩护的。
phi 与 R1 的两条合成路线对照
合成数据的两大流派可以用 phi 与 R1 做一次对照收束。phi 路线（课程合成）：目标是「预训练效率」——合成的是「教学内容」（覆盖知识点的教科书式文本），作用于预训练/继续预训练阶段，收益是小模型的大幅提效，验证靠 benchmark 的横向对比（phi 打平大模型），风险是知识面窄化（教科书之外的世界知识不足，需要真实数据补）。R1 路线（验证合成）：目标是「推理增强」——合成的是「可验证的问题-推理-答案」，作用于后训练阶段，收益是推理能力的自我增强闭环，验证靠验证器（数学与代码的客观正确性），风险是领域局限（验证器外的领域合成不动）。两条路线的互补大于竞争：课程合成解决「学什么」，验证合成解决「练什么」；前者的瓶颈是「课程设计的知识工程」，后者的瓶颈是「验证器的领域覆盖」。合成数据的下一个前沿大概率在两者的交叉：用课程合成规划知识结构、用验证合成巩固每一步——当「学」与「练」的数据都能工业化生成，模型训练的数据瓶颈才算真正松动。
数据污染的攻防：评测集与合成数据的猫鼠游戏
合成数据工业化带出一个次生战场：评测污染的攻防。污染的路径变了——早期是评测题泄漏进爬取的语料（无意的），合成数据时代出现了「有意的邻近生成」：用模型批量生成「与 benchmark 同类型但换皮」的题目做训练，模型在评测上的高分不再反映真实能力（本库评测基准篇的「分数会骗人」在这里有了工业化的新形态）。防守方的升级：评测集的动态私有化（定期换题、不公开完整集，像 GRE 的题库管理）、污染检测工具（n-gram 重叠 + 嵌入相似度 + 「改写扰动后分数暴跌」的行为检测）、以及「保留集」制度（永远不公开的私人评测集，只在关键节点披露）。进攻方（模型厂）的清白证明：训练数据声明、污染扫描报告、第三方审计——透明度成为新的竞争维度。这场攻防的元结论：评测的可信度本身成为稀缺资源——公开基准的可信度持续折旧，私有评测与实测（拿自己的任务数据测）的价值持续升值。数据工程的伦理线与评测工程的防伪线，在合成数据时代拧成了同一股绳。
小结
模型崩塌研究给合成数据立了警示牌（无甄别递归 → 尾部丢失），但数据墙逼出的是有甄别的工业化路线：phi 的教科书质量假设证明「信息密度比 token 量重要」，可验证合成（生成廉价 + 验证可靠 + 筛选入训）在数学与代码上跑通了 AlphaZero 式自我增强闭环。风险四件套——同质化、错误放大、污染回声、评估失真——是这条路线的持续成本。合成数据的版图边界由「验证器」划定：验证器延伸到哪，自我增强就闭环到哪。下一篇讨论另一个「学了新的忘旧的」的悖论：持续学习与灾难性遗忘。
读者留言
COMMENTS 暂无还没有留言，来说第一句？