某团队把检索 MRR 从 0.62 优化到 0.85,庆功会开完,用户投诉量纹丝不动——因为用户的真实任务是「把相关材料找齐」,而 MRR 只看第一条。检索指标从来不是分数越高系统越好,前提是「指标在测你想优化的东西」:recall@k、MRR 与 nDCG 各自隐含一种任务假设,量对了是导航仪,量错了就是拿体重秤量血压,读数再准,也回答不了血压的问题。

三指标的机制与任务假设
recall@k 的算式最直白:前 k 条结果里命中了多少条相关条目,除以全部相关条目。它的隐含假设是任务关心「找齐」——相关条目构成一个有限集合,每漏一条都有代价,合规审查、清单核对、法条援引都是这类任务。它的第一个陷阱藏在分母里:语料里到底有几条相关,这件事通常不可知,标注只能覆盖「已发现的相关」,于是 recall@k 度量的是「相对标注集的找齐率」,标注缺了多少,读数就虚高多少。极端情况:标注只登记了三条已知相关文档,系统把这三条全收进 top-k,recall@10 拿到满分——而语料里可能还躺着几十条没人标过的相关条目。第二个陷阱是天花板错位:真实相关条目上百条而 k 只取 10 时,recall@10 的理论上限不足两成,指标长期难看,但系统可能根本没病——如果任务只需要其中三五条,追高召回率本身就是伪需求。读 recall 之前先问两句:分母从哪来,天花板够不够得着。这两个问题没有可信答案,这个指标就只是好看的装饰。
MRR 问的是「第一条相关结果排第几」,取其排名倒数,再对查询集求平均。它隐含的是导航假设:用户只想要一个入口,第一条对了任务即告完成——FAQ 定位、单文档跳转、知识入口推荐都属此类。它的盲区由同一个假设决定:第二条之后的排名完全不进指标。把十条相关材料的前三条排妥、其余七条全丢,与十条全部进 top-5,两种系统的 MRR 可能一样高;在导航任务里两者等效,在材料收集任务里后者完胜。更隐蔽的是梯度缺失:MRR 只认第一条命中在哪,不认命中的那条有多相关——把一条边缘相关的文档顶到第一位、把真正权威的文档挤到第二位,MRR 反而更高。把 MRR 用在集合任务上当北极星,等于训练系统「把一条最像的顶到最前,其余随便」,方向性错误;用得对时它也最便宜——判定简单、人工标注只要确认首条,是三个指标里维护成本最低的一个。
nDCG 最讲究:每条结果按相关程度打分级标签(比如零到三级),得分按位置折扣累加——排得越靠后折扣越重,最后除以理想排序的得分做归一。它隐含三重假设:相关性有梯度、用户按顺序浏览、浏览深度到第 k 条为止;任何一条不成立,读数就失真。标签只有相关与不相关两档时,nDCG 退化成带位置加权的精确率,区分力未必强过 MRR;分级标签靠模型打分时,打分噪声直接进入指标,两次评测之间的波动可能盖过系统真实差异;理想排序依赖标注完整性,漏标会让归一分母偏小、读数虚高;k 取得过大,优化的是用户根本看不到的第 7 到第 10 位。还有一个团队自查点:当评测集全是简单查询、所有系统的 nDCG 都挤在 0.95 以上时,指标已经饱和、失去区分力——该补的是难题,不是继续优化。
同一个检索结果,三个指标会讲三个故事。假设某查询有八条相关材料,系统返回的 top-10 命中了其中五条,最相关的一条排第 1,另有两条排在第 8 与第 10:recall@10 读 0.63,指控「没找齐」;MRR 读 1.0,宣布「完美」;nDCG@10 读一个中上的分数,评价「还行」。三个读数都对,它们是同一系统的三张面孔——下游拿这批材料写综述时,recall 是真相;用户点进第一条就走时,MRR 是真相;逐条浏览找答案时,nDCG 是真相。先定任务,再定哪个读数算数;反过来,用三个数里最好看的那个做汇报,是指标工程里最常见的自欺。
三个指标没有高下之分,只有假设与任务合不合;合则灵,不合则自欺。
指标与任务的配对
配对的第一步是承认 RAG 里至少并存三类检索任务,一张指标走天下是幻想。问答类任务要「最相关的三五条进上下文」:主指标选 nDCG@5 这类位置敏感指标,辅助挂 recall@20——上游召回接得住,重排才有料可排;这里最常见的失真是标注粒度错位:相关性标注做在文档级、评估算在块级,文档相关不代表被检出的那一块相关,指标会系统性虚高,评测得分与答案质量之间出现对不上的裂缝。合规集合类任务要「一条不漏」:主指标是 recall@50 这类大窗口召回,护栏是校验后的噪音率——召回窗口放开必然带进噪音,噪音由校验器与人工兜底;分母未知的问题用候选池方案解决:先用宽口径多路召回把候选汇成一个池,人工确认池内每条的相关性,把确认后的池当作分母的近似,读数从此有了锚。导航入口类任务要「第一条就对」:主指标就是命中@1 或 MRR,辅以在线点击信号;它的天然盲区是对第二位之后全盲,所以别拿它去评估多材料任务。
flowchart LR
Q["一个检索查询进来"] --> T{"任务要什么"}
T -->|"最相关的几条"| A["问答任务:nDCG@5 为主,recall@20 兜底"]
T -->|"全部相关条目"| B["集合任务:recall@50 为主,噪音率为护栏"]
T -->|"一个入口"| C["导航任务:命中@1 或 MRR 为主"]
| 任务 | 主指标 | 辅助指标 | 典型陷阱 |
|---|---|---|---|
| 问答 | nDCG@5 | recall@20 | 文档级标注与块级评估错位 |
| 合规集合 | recall@50 | 校验后噪音率 | 分母未知导致读数虚高 |
| 导航入口 | 命中@1 或 MRR | 在线点击率 | 对第二位以后全盲 |
现实里还有第四种情况:同一个入口混着多类任务——用户有时提问、有时找文档、有时要清单。此时指标要跟着路由走:查询先过意图判别,不同意图分别用各自的指标统计、分别看分桶读数;把三类任务的查询混进一个总分,等于把三张不同的考卷订成一本算平均分,那个数字没有任何含义。指标配对是「按任务配」,不是「按系统配」。配对还要落到管线的层上:召回层与重排层该用不同的尺。召回层看 recall@100 或候选池命中率——它的职责是把对的材料留在场内;重排层看 nDCG@5——它的职责是把对的材料排到眼前。两层合用一把尺,调优信号就糊了:重排把召回漏掉的东西排得再整齐,分数也涨不动;召回层漏掉的,重排层永远救不回。给两层分别留一套分层数字,坏哪层看哪层,调优才知道动哪一层。配对关系定下后写进团队文档,每个新指标进榜前先回答一句「它隐含什么任务假设、我们的任务是哪类」——答不上来的指标,不许进放行标准。
指标之外的补充
离线指标是代理,在线真值是用户行为与 bad case 率,两者必须定期对账。操作形态:每周从真实查询流量里抽三五十条,人工快速判「这轮检索结果能不能支撑作答」,得出一个粗粒度的可用率,与当周离线主指标并排看。离线指标涨、人工可用率没涨,先怀疑两件事——标注漂移(口径或标注人员变了)或指标失真(任务分布变了),不要急着庆功;反过来人工体感变差而指标平稳,多半是查询分布漂出了评测集的覆盖范围,评测集该补新条目了。bad case 率(来自用户反馈与人工评审的出错比例)是最贵也最贴近真值的信号,它的趋势应当与主指标负相关;当两者同向波动,基本可以断定主指标已经测错了东西——这是指标失效最可靠的警报。
任何单一指标被立成唯一目标,团队都会学会「在指标上得分」而不是「在任务上得分」:把 MRR 当唯一 KPI 的团队,三个月后会拥有一批首条极准、后面稀烂的排序结果。防御不是堆指标——五个指标三个涨两个跌,结论任人打扮——而是分层:主指标一个、护栏一到两个,其余全部降级为诊断面板;放行标准只看主指标达到容差且护栏不劣化,诊断面板的数字只用于解释「为什么」,不用于决定「行不行」。指标口径还要绑定变更记录:换标注人员、换评审模型、调 k 值,都会让分数整体平移,此时该重刷基线,而不是把平移误读成提升。
横向比较也有边界:两家系统各自报的 recall@10 未必可比——k 相同,但标注集不同、分母口径不同,分数就没有互换性。指标数字只在「同一份评测集、同一套标注、同一套参数定义」内部可比;跨系统比较要连评测集一起交换,否则就是在比较两个不可通约的量具。指标回答「大概多少」,人工对账回答「真的吗」,两套信号各司其职,谁也不能替谁。
指标的上限最终由标注质量决定,这件事常被忽略。标注员对「相关」的理解不一致,分数就在测标注员的分歧而不是系统的能力;开工前先做小规模双人交叉标注,算一致率,一致率不高就先修标注指南再放量。指南要对边界情形给出判例:广告页算不算相关、过时但唯一提到该主题的文档算不算相关、同主题的旧版规程算不算。标注质量还有一条隐秘的退化路径:评测集常年由同一批人维护,判例越积越偏向最初的任务理解,而真实任务早已演化,尺子的刻度没跟着换——所以指标体系每年重审,重审的不只是指标,还有刻度本身。最后是对汇报语言的约束:对外报指标时把口径带上——「recall@10(评测集 v6,人工标注三百条)」和光秃秃一句「recall 提升 8 个点」,是两种可信度。指标数字一旦脱离口径单独旅行,就会在传播中被赋予它从未有过的含义;写清口径只需要十几个字,省下这几个字,代价是往后无数次解释。
import math
def recall_at_k(ranked, relevant, k):
hits = len(set(ranked[:k]) & set(relevant))
return hits / len(relevant) # 分母是全部相关条数,标注缺口直接变成虚高
def mrr(ranked, relevant):
for pos, doc in enumerate(ranked, start=1):
if doc in relevant:
return 1.0 / pos # 只看第一条命中的位置,其后全部失明
return 0.0
def ndcg_at_k(ranked, gains, k):
dcg = sum(gains[d] / math.log2(i + 1) for i, d in enumerate(ranked[:k], start=1))
ideal = sorted(gains.values(), reverse=True)[:k]
idcg = sum(g / math.log2(i + 1) for i, g in enumerate(ideal, start=1))
return dcg / idcg if idcg > 0 else 0.0
小结
指标选错,优化就是在错误方向上努力。recall@k 假设任务要找齐、MRR 假设任务只要首条、nDCG 假设用户按序浏览到第 k 条——每个指标上放行榜之前,先回答「我们的任务符不符合它的假设」:问答配位置敏感的 nDCG 加上游召回兜底,合规集合配大窗口 recall 加噪音护栏,导航入口配命中@1。分母缺口、指标饱和、标注与评估粒度错位,是三类最常见的读数失真,靠人工抽样对账加 bad case 率负相关检验来发现;混合任务按意图分路由、分指标统计,别把三张考卷订成一本。指标体系不要一次定终身:任务形态变了、查询分布漂了、指标饱和了,就重审换尺——这件事每年做一次不为过。
读者留言
COMMENTS 暂无还没有留言,来说第一句?