数据筛选与去重研究：数据质量对模型能力的影响

2023 年之后，大模型领域出现了一个范式级判断的转移：Scaling Law 仍在起作用，但「更多数据」正在被「更好的数据」取代为第一杠杆。Microsoft 的 phi 系列用 1.3B 参数在 HumanEval 上击败了 15B 的通用模型，HuggingFace 的 FineWeb 用系统消融证明过滤管线比快照数量更重要，EleutherAI 的数据受限缩放定律则给「数据不够时能不能靠重复凑」画出了定量边界。这些工作的共同背景是：高质量公开文本的增长速度远低于算力的增长速度，数据工程的边际收益正在超过架构创新的边际收益。本文沿「重复为什么有毒、质量怎么定义、数据受限时怎么办」三个层次，梳理这条研究线的实证进展。

一、重复为什么有毒：去重的实证基础

训练-测试重叠与记忆化风险

Google 的「Deduplicating Training Data Makes Language Models Better」（Lee et al.，ACL 2021）是这条线的奠基工作。论文审计了 C4 语料：约 4% 的文档存在高度重复，验证集上有超过 4.27% 的文本与训练集存在 50-gram 级别的重叠——也就是说，相当一部分「下游评测」测的其实是记忆而非泛化。精确去重（suffix array 找精确重复文档加子串级检测）带来的三个收益都被量化了：训练-测试重叠减半；逐字记忆化输出下降一个数量级；达到同等精度所需的训练步数减少，等效于训练加速。后续与提取攻击研究（Carlini et al.，2021）的交叉验证更加重要：出现十次以上的训练序列被模型逐字吐出的概率比 singleton 高一到两个数量级——重复样本是隐私泄露与版权风险的最大载体，去重因此同时是性能工程与合规工程。

从精确重复到语义重复

精确去重的局限是抓不住「改写过的重复」。Meta 的 SemDeDup（Abbas et al.，2023）把去重搬到语义空间：对每条数据取 embedding，聚类后删掉簇内彼此过近的样本，保留簇的「语义中心」。在 DataComp 规模的多模态数据池上，砍掉约一半语义重复样本后训练，下游精度基本保持，部分设置反而略有提升，训练时间同步减半。这类工作确立了一个反直觉结论：数据集的信息熵远低于其名义规模，大规模语料的「有效数据量」通常只有表面的三分之一到二分之一。工程上，当前主流管线（FineWeb、DCLM）采用两级组合：先做精确去重与 MinHash 模糊去重，再做 embedding 聚类的语义去重，两级各自的阈值都经过消融校准。

flowchart TD
    A["原始网络语料<br/>Common Crawl 快照"] --> B["文档级清洗<br/>去 HTML / 语言识别 / 启发式规则"]
    B --> C["精确 + MinHash 模糊去重"]
    C --> D["语义去重<br/>embedding 聚类去近邻"]
    D --> E["质量过滤<br/>规则 / 困惑度 / 分类器打分"]
    E --> F["分类器加权采样<br/>教育性 / 领域权重"]
    F --> G["训练与消融验证<br/>小规模对照先行"]
    G -->|"消融反馈调整阈值"| E

二、质量怎么定义：从启发式到「教科书数据」

phi 系列：教科书假设的第一次定量胜利

Microsoft 的「Textbooks Are All You Need」（Gunasekar et al.，2023）把质量假设推到极致：用不到 7B token 的数据——由过滤后的 Python 代码与模型合成的「教科书式」练习组成——训练 1.3B 参数的 phi-1，HumanEval pass@1 达到 50.6%，超过体量大一个数量级的 StarCoder（约 33%）。其续作「Textbooks Are All You Need II」（2024）把方法论推广到自然语言：phi-3-mini（3.8B）在 HumanEval 上达到约 69%，MMLU 接近 69%，用小模型逼近了七倍体量模型的水平。phi 系列的方法论核心有三条：数据过滤不是二值剔除而是「分级教学」；合成数据可以定向补足真实语料的覆盖缺口；过滤器的判定标准本身要用模型来迭代打磨。它的局限同样需要诚实指出：教科书式数据在考试型基准上收益惊人，但对分布覆盖的牺牲（尤其是长尾与多语言内容）尚缺乏系统评估，极端过滤是否损害泛化仍无定论。

FineWeb 与 DCLM：把管线变成可复现的消融科学

HuggingFace 的 FineWeb（Penedo et al.，2024）是这个方向最系统的公开工程：对 96 个 Common Crawl 快照统一清洗、精确加 MinHash 去重，产出 15T token 语料，并在 100B token 子集上对每一步管线做了公开消融——这是「数据管线科学化」的标志性动作。其续作 FineWeb-Edu 用 Llama-3-70B 对约 50 万级页面按「教育价值」五星打分，训练小型分类器后对全库过滤：保留高教育分页面得到的约 1.3T token 语料，训练出的模型在 MMLU、ARC 等知识与推理基准上超过了用 15T 原始 FineWeb 训练的模型——用不到十分之一的数据量取得了更高的下游表现。同期，DataComp-LM（Li et al.，2024）把这套方法论做成竞赛：从 240T token 的原始池中筛出 3.8T 的 DCLM-baseline 数据集，训练 7B 模型在 5-shot MMLU 上达到 64%，而 Llama-2-7B 同规模只有约 45%——数据配方的改进在同等算力下拿走了原本需要数倍算力才能买到的分数。这两项工作的共同启示是：质量过滤器已从「手工启发式」演进为「模型评分、消融校准、可复现发布」的标准化流程，数据管线本身正在变成一门对照实验科学。

RefinedWeb：纯工程数据对精选语料的反超

质量工程路线的另一个标志性证据来自 Falcon。RefinedWeb（Penedo et al.，NeurIPS 2023，TII）只做「工程」不做「精选」：对 Common Crawl 施加极严的 URL 级过滤、行级规则清洗、trigram 精确去重加 MinHash 模糊去重，产出 5T token 的高质量网络语料。关键的对照实验在小模型上完成：用 RefinedWeb 子集训练的 1.3B 模型超过了用 The Pile 等精选语料训练的同规模模型——这直接否定了「网络原始数据必须依赖精选书库论文兜底」的假设，Falcon-40B 随之采用约 85% 网络数据加少量精选语料的配方并进入开源第一梯队。RefinedWeb 与 FineWeb 相互印证了同一条结论：去重与过滤做到极致的「脏」网络语料，可以系统性优于人工精选的「干净」语料库，数据质量的主要杠杆在管线工程而非数据来源的光鲜程度。

三、数据受限时的缩放定律：重复与合成的边界

重复数据能撑多少

当新数据不够时，重复使用旧数据的收益衰减由「Scaling Data-Constrained Language Models」（Muennighoff et al.，2024，EleutherAI、Stanford、Harvard 等）定量刻画。这项工作训练了超过 400 个模型（0.7B 到 9.1B 参数、训练量最高 900B token），核心结论：同一数据重复至多约 4 个 epoch 时，其价值接近全新数据；超过后边际收益快速衰减，到约 16 个 epoch 时重复数据的增益几乎归零，等于白白烧算力。论文同时给出了数据受限场景下的修正缩放公式，并验证了一个重要例外——合成数据可以打破重复的收益上限：对旧数据做改写与扩展后，模型从「新合成数据」上获得的收益显著高于从原始数据的第 N 次重复中获得。这条结论与 phi 的合成路线在实证上会师，共同构成了「数据墙」时代的工程答案：把存量数据改写成更多样的形式，比把同一形式多训几遍有效得多。

污染检测：质量工程的暗面

数据质量的另一面是基准污染：训练语料混入评测集会导致虚高的榜单分数。2024 年以来的审计方法从简单的 n-gram 重叠扩展到语义级检测（如对问题做改写后比对模型答案的变化），以及新基准的常态化发布策略——Putnam-AXIOM（2024）对赛题做数值与结构扰动生成「污染免疫」变体，模型在扰动变体上的成绩普遍比原始题下降三十个百分点以上，暴露了相当比例的原始成绩来自记忆。对负责训练的团队而言，污染审计已经从可选动作变成发布前的必备流程：n-gram 全库扫描、改写敏感测试、以及 held-out 私有评测集，构成目前最可靠的三层防线。

四、开放问题

质量的定义依附于任务

FineWeb-Edu 的「教育价值」过滤器在知识与推理基准上收益巨大，但「教育价值」是一个被 MMLU 类评测间接定义的目标——过滤器的偏好会顺着评测集传导。对创意写作、文化多样性、长尾知识等任务，同一过滤器可能是负收益，这一点 FineWeb 团队在文档中亦有提示。当前学术界缺乏一个「质量的任务无关定义」，多数工作实际在优化「对基准分数的质量」，这带来榜单之外能力退化的系统性风险。多目标数据混合（质量分、多样性分、覆盖度分的同时优化）是明确的研究缺口，DCLM 已开始把多样性指标纳入竞赛维度，但方法远未成熟。

过滤器迭代与数据闭环

第二个开放问题是方法论层面的：当过滤器用大模型打分、用下游基准验证、再反过来调整过滤器，就形成了一个潜在的自反馈回路——数据被优化得越来越像评测集的分布，这种「分布漂移式过拟合」不会在现有基准上暴露，只会在真实使用中显现。打破闭环的思路包括保留未过滤的原始快照、引入与基准无关的探针任务、以及跨团队的数据审计协议。数据工程从这个角度看的深层议题，其实是整个行业的评测体系公信力问题。

小结

数据筛选与去重的研究在 2021 到 2024 年完成了从「数据清洗杂活」到「第一杠杆」的地位跃迁。支撑这个判断的硬证据是：去重让记忆化风险降一个数量级、训练等效加速；FineWeb-Edu 用十分之一的数据量跑赢全量训练；DCLM 在同等算力下把 7B 模型的 MMLU 从约 45% 提到 64%；数据受限缩放定律给重复画了 4 个 epoch 的硬边界，并指认合成改写是突破边界的路径。对工程团队的实操启示可以压缩成三条：去重与质量过滤的收益可靠且可复现，是数据管线的必选项；过滤器的阈值必须用小规模消融校准，不能拍脑袋；重复数据超过四个 epoch 后停止加注，改做合成改写。数据墙逼近的时代，「单位 token 的信息熵」正在取代「token 总量」成为预训练预算的记账单位——这是这批研究最重要的范式遗产。