换一个视角看语料:检索器读到的一篇网页,不是「一篇关于某主题的文章」,而是导航条、推荐位、页脚版权与正文的混合物。网页、Wiki 导出、门户页都裹着厚厚的壳——壳进了索引,检索质量就天然带病。本篇按「为什么脏、怎么剥、怎么洗、怎么验」四步,把正文抽取当成一门质量工程来讲。

噪音的代价:三条伤害链
第一条是上下文占用链。RAG 的上下文预算是稀缺资源,每个查询能带进生成环节的正文量是有限的。噪音块挤占候选名额:top-k 里五个位置被导航摘要、页脚声明、推荐位标题占了三个,真正的正文段只进来两条——检索系统忠实地返回了「相关」结果,但相关的正文被稀释了。这条链的伤害在生成之前就完成了,生成模型再强也变不出没被送进来的内容。
第二条是检索误召回链,机制最值得讲透。倒排检索侧,导航与推荐位的锚文本——「热门搜索」「友情链接」「联系方式」「站内新闻」——是天然的虚假匹配点:查询词一旦与这些高频词撞上,噪音块的字面得分可能反超正文段落。向量检索侧,噪音块表现为「什么都不关于、又什么都沾一点边」的平庸块:对任何查询都给出中等相似度,永远够得着 top-k 的边缘、永远没有价值。更隐蔽的是整页嵌入的场景:抽取不干净时,整篇文档的向量被噪音往「通用门户页」的语义方向拉,正文主题的纯度被稀释,检索排序整体变钝。
第三条是答案污染链。生成模型分不清正文与页脚的语体差异,会把「本站资源来源于网络,如有侵权请联系删除」当成制度条款引用进答案,会把推荐位的标题党当成事实陈述。用户看到的每一个离谱细节,消耗的都是对整个系统的信任。
噪音还有一个比解析失败更阴险的属性:静默。抽取脚本不会报错,管道指标不会报警,流程绿灯一路走到入库——只有读答案的人隐约觉得「这答案怪怪的」。没有显式的失败信号,就没有天然的修复契机,所以它需要人为设计的验收机制,这正是本文最后一节的主题。
一句话小结:噪音同时伤害上下文预算、检索精度与答案可信度,而且失败是静默的——它不会在管道里报警,只会在答案里露馅,因此治理必须前置成主动设计,而不是等下游出了问题再回头找。
抽取策略谱系:从规则到模型
第一种是 DOM 规则抽取:为已知站点写选择器,直接圈定正文容器。在模板不变的前提下,这是精度最高的方案——毕竟站点自己的工程师知道正文在哪个标签里。代价是维护:只适用于少数重点合作的站点,模板一改就静默失配(返回空块或错块),所以配套必须有模板变更监控与失败告警。把「静默失败」变成「响失败」,是这条路线能不能用的前提。
第二种是正文密度启发式:不依赖站点知识,从 DOM 的统计特征猜正文。核心信号包括文本密度(文本量与标签量的比值,正文区高、导航区低)、链接密度(正文段落几乎不带链接,导航区几乎全是链接)、段落长度分布与标点密度。Firefox 阅读模式所用的 Readability 一类算法、Python 侧的 trafilatura 等工具都是这条路线的成熟实现。它通用性强、零训练成本,是批量异构网页的主力。失手场景也可预期:正文极短的公告页、列表型页面、评论区比正文还长的帖子——密度信号在这些页面上会指错方向。
第三种是模型抽取:在 DOM 或页面截图上训练的结构化抽取模型,鲁棒性比启发式好,但需要训练数据与推理资源;LLM 直接读 HTML 抽正文的效果上限最高,但单页成本高出一个数量级,全量跑在经济上不成立。它的合理位置是兜底:前两层搞不定的难例,按页付费交给模型。选模型路线还有一条纪律要守:抽取是「搬运」不是「创作」,无论传统模型还是 LLM,验收时都要核对输出与原文的一致性,防止抽取环节悄悄变成改写环节。
因此生产上通常是分层路由的组合:已知模板的站点走规则,其余走启发式,启发式评分低或正文占比异常的难例升级到模型。分层的关键设计点在「难例的识别」本身要便宜——用启发式的置信分与正文占比做门槛,而不是靠人工挑。还有一类容易被忽略的源是 Wiki 与协作文档的导出件:它们不是网页爬取,而是 API 或导出通道给的半结构化内容,壳的形态不同——侧边栏、目录树、权限提示、附件列表混在导出格式里——需要按导出格式单独写映射,不能直接套网页抽取的路数。四条路线的成本与适用面归成一张表:
| 方法 | 成本 | 适用场景 |
|---|---|---|
| DOM 规则选择器 | 维护高,精度最高 | 少数重点合作源 |
| 密度启发式 | 零训练,通用 | 大批量异构网页 |
| 结构化抽取模型 | 需训练与推理资源 | 难例兜底、高价值源 |
| LLM 直接抽取 | 单页成本高 | 低频高价值兜底 |
一句话小结:抽取策略按「精度换成本」排成谱系,生产形态几乎都是分层路由——规则管熟站、启发式管大盘、模型管难例。
清洗规则集:抽出来还要洗干净
抽取圈定了正文容器,清洗负责把容器里的残余噪音处理干净。第一类规则是模板块识别。单页视角很难判断「一段看起来像正文的文字其实是模板」——每页的欢迎语、每页都有的温馨提示,写进正文里毫无破绽。正确的视角是跨页面对比:同一模板的几十上百个页面,共享的导航、页脚、推荐位在 DOM 里是公共子树,把多页公共部分批量剔除,比任何单页规则都可靠。「这段文字全站每页都有」本身就是它是噪音的证明。
第二类是锚文本与分页残留。抽取结果里混进的导航词——「首页」「上一页」「下一页」「阅读数」「评论」——以及长文分页拼接时的「下一页」「未完待续」串联残留,都是高频出现的小粒度污染。它们单个危害小,但量大,且恰好是最容易与查询词撞车的词。评论区的处置要单独定策略:评论里偶尔藏着对正文的重要补充与纠错,一刀切删掉会丢信息,全部保留又会把「楼主」「沙发」「顶」这类灌水灌进索引——常见的折中是评论整体剥离出正文块,按「评论区」类型单独索引,检索命中时标注「来自评论」,正文与讨论各有各的语义身份。
第三类是元数据归位。标题、发布时间、作者、来源应当从正文里剥出来、放进结构化元数据字段。「发布于 2023 年 3 月 4 日」混在正文里,会参与语义、参与向量、参与匹配;放进元数据,它变成受控字段,可以用于过滤与排序而不污染语义。这一条与元数据过滤、时间感知等下游能力直接衔接。
第四类是规范化:HTML 实体解码、零宽字符与不可见字符清除、全半角统一、连续空白折叠。还有一条容易被漏掉的乱码检测——编码错误的页面会产出整段乱码,检出即拒收,而不是硬塞进索引制造一堆「什么都不匹配」的向量。一组清洗规则的代码骨架大致如下:
type Block = { text: string; kind: "main" | "nav" | "footer" | "meta" };
// 模板块剔除:全站多页共享的文字且非正文,直接去掉
const stripTemplateBlocks = (blocks: Block[], shared: Set<string>) =>
blocks.filter((b) => !(shared.has(b.text) && b.kind !== "main"));
// 锚文本残留:整行只有导航词的行删除
const dropAnchorResidue = (text: string) =>
text.replace(/^(首页|上一页|下一页|阅读数|评论)\s*$/gm, "");
// 编码与空白规范化
const normalize = (text: string) =>
text
.replace(/ /g, " ")
.replace(/[\u200b\u200c\u200d\ufeff]/g, "")
.replace(/[ \t]+/g, " ")
.replace(/\n{3,}/g, "\n\n");
export const cleanPipeline = (blocks: Block[], shared: Set<string>) =>
stripTemplateBlocks(blocks, shared)
.map((b) => ({ ...b, text: dropAnchorResidue(b.text) }))
.map((b) => ({ ...b, text: normalize(b.text) }))
.filter((b) => b.text.trim().length > 0);
整条链路的形态是「抽取之后、切块之前」的一段纯函数管线,顺序有讲究:先剔除整块噪音,再做行级清理,最后做字符级规范化——粗粒度在前、细粒度在后,前一步的输出决定后一步还剩什么要处理。
flowchart LR
A["原始 HTML"] --> B["正文抽取圈定容器"]
B --> C["模板块剔除:跨页公共子树"]
C --> D["锚文本残留清理"]
D --> E["元数据归位"]
E --> F["编码与空白规范化"]
F --> G["干净正文加受控元数据"]
H["导航页脚推荐位"] -.->|"跨页对比剔除"| C
一句话小结:清洗规则的正确打开方式是「跨页对比剔模板、行级清残留、元数据归位、字符级规范化」,粒度从粗到细、顺序不可颠倒。
验收标准:抽样人读,不是脚本不报错
正文抽取的验收有一个反直觉的原则:脚本不报错不能作为验收标准。启发式抽取的失败是静默的——选错正文区域,管线照样跑完,指标照样全绿。唯一能发现它的方式是人读。
验收落到三个可数的指标上。正文完整率:人工对照原页面,检查该有的段落是否都在——被误删的正文(比如被当成评论区剥掉的讨论段)是启发式最典型的错法。噪音混入率:抽取结果里出现了多少导航词、版权声明、推荐位标题。元数据正确率:发布时间、作者、标题抽得对不对——这三项直接影响下游的过滤与排序。三个指标都比「程序没抛异常」严格得多,也都必须人工抽样才能测。
样本集要分层设计:首页型、列表型、长文型、评论密集型、公告型页面都要有代表,而且要包含站点里最「歪」的那批页面——启发式的失败集中在分布尾部,平均样本测不出问题。
持续监控比单次验收更重要。两个低成本机制值得常备:一是线上低频采样,每天随机抽若干条入库结果人工快读,十秒钟一条,把「噪音混入率」变成有时间序列的运营指标;二是负反馈回流,用户点踩标注「内容不对」的案例自动进样本池。还有一个突发风险源要单独盯:站点改版。重点合作站的页面模板一变,规则选择器立刻失配、启发式的表现也可能漂移,重要来源的模板变更值得做订阅式监控——改版当天就该知道,而不是等下个月的抽检。
一句话小结:抽取质量的验收标准是「抽样人读」——完整率、混入率、元数据正确率三个指标加持续采样,让静默失败变成有记录的可见失败。
小结
正文抽取是「剥壳取肉」的工程:壳——导航、页脚、版权、推荐位——同时挤占上下文预算、制造虚假召回、污染生成答案,且失败全程静默。策略上按「规则管熟站、启发式管大盘、模型管难例」分层路由;清洗上按「跨页对比剔模板、行级清锚文本残留、元数据归位、字符级规范化」从粗到细推进;验收上用人工抽样的完整率、混入率与元数据正确率说话。检索器的上下文里每一段噪音都在稀释答案——把抽取当质量工程做,是所有下游检索优化能生效的前提。
读者留言
COMMENTS 暂无还没有留言,来说第一句?