bad case 归因分类学:检索错、生成错还是需求错

周会上二十个 bad case 投在屏幕上:有人说是检索不准,有人说是模型不行,有人说是问题本身太刁钻。三十分钟过去,没有一条达成共识,也没有一条被修掉。治理 bad case 的第一步不是修,是归因——像急诊分诊台先把病人分到对的科室:检索错、生成错与需求错,三者的修法完全不同、责任方完全不同,混在一起优化就是随机游走。

手绘信息图:bad case 的归因树——检索错、生成错、需求错三大枝与各自的小类

归因树:三大类与可操作的判据

归因难的根源在表层相似、根因不同。同一个「答案错了」:可能是对的材料压根没被找回来,可能是材料找到了模型却视而不见,也可能是知识库里本来就没有这个答案——三种病共享一个症状,开三种完全不同的药;把 20 个 case 混成一锅端上来讨论,等于让内科、外科、神经科共用一张处方笺。没有共享的归因语言,每个 case 都要重新吵一遍「谁的锅」,而吵架的各方看着同一个 case,脑中想象的是三种不同的失败路径,永远吵不拢。

归因树的骨架是三大枝,判定靠三个问题依次回答,不靠感觉。第一问:语料里到底有没有能支撑正确答案的内容?没有,归入需求错——问题超出知识库覆盖,或问题本身歧义到无法确定要什么。有,进第二问:包含答案的内容进上下文了吗?没进,是检索错。进了还答错,才是生成错。三问之后,最常见的扯皮——「检索不行还是模型不行」——变成两次可机械执行的检查;争的不再是观点,是事实。

每大枝再分两小类,因为修复动作到小类才收敛。检索错分「召回失败」——该找到的根本没进候选池,与「排序失败」——进了候选池但排到窗口外或被截断;前者查查询理解与召回源,后者查重排与阈值,修法不同。生成错分「忠实性错误」——上下文明明写着甲,答案说成乙,模型无视或读错了材料;与「整合失败」——答案散在多段,需要跨段比对或简单计算,模型没整合对;前者多指向提示词约束与输出校验,后者多指向切块与上下文组装。需求错分「歧义问题」——同一句话可指向多种意图,系统猜错了那一个;与「超纲问题」——答案不在语料范围,正确行为本是拒答或转人工,这不是错误,是功能缺口。

判定有一个非常好用的反事实检验,能一次操作替代十轮争论:把人工确认的黄金上下文手工拼进提示词重新生成——答案立刻对了,是检索的锅;还错,是生成的锅;黄金上下文根本拼不出来,是需求的锅。一次重跑,三选一,判据客观可复现。配上判定顺序,归因从「感觉检索不准」升级成一套任何人执行都得到同一结果的程序。

走一个完整例子。查询「年假没休完可以折算成工资吗」,系统答「不可以」,员工投诉答错了。第一问:制度文档里写得明明白白「未休年假可按日工资折算」——语料有答案,排除需求错。第二问:这条制度进上下文了吗?查检索日志,命中的是考勤规定的第五条,制度原文排在候选第 37 位,被窗口截断——没进,归检索错,小类排序失败。反事实检验复核:把制度原文手工拼进提示词重新生成,答案立刻正确,坐实检索责任。全程两问一跑,三分钟,结论无可争辩;对照之下,没有归因语言的团队曾为同一条 case 争论过三周。

flowchart TD
    R["答案出了问题"] --> Q1{"语料里有正确答案吗"}
    Q1 -->|"没有"| X["需求错"]
    Q1 -->|"有"| Q2{"进上下文了吗"}
    Q2 -->|"没进"| T["检索错"]
    Q2 -->|"进了仍答错"| G["生成错"]
    T --> T1["召回失败:候选池里就没有"]
    T --> T2["排序失败:进了池被挤出窗口"]
    G --> G1["忠实性错误:无视或读错上下文"]
    G --> G2["整合失败:跨段信息没对齐"]
    X --> X1["歧义问题:意图不确定"]
    X --> X2["超纲问题:超出语料覆盖"]

归因流程:抽样、双人与统计

采集走三步。抽样定盘:每周从用户反馈(点踩、转人工、重复提问)收全量疑似 bad case,同时从线上查询随机抽一份对照样本——只看反馈样本会高估糟糕程度,肯反馈的用户自带偏差;对照样本告诉你「没吭声的用户」那边出问题的真实密度。抽样比例也要设计:反馈样本全收(量小、信息密度高),对照样本按周固定量抽——抽太少统计不稳,抽太多标注吃不消;经验起点是每周反馈全量加对照三十条上下,随人力浮动。标注时机也有讲究:bad case 趁热归因,隔太久上下文丢失——当时语料什么状态、哪个版本在跑,判据要用的两个关键事实都凑不齐了;过期 case 归档不销毁,标注「上下文已失效」留档。双人背靠背标注:两人独立按归因树打标,标完对分歧;分歧率异常高(比如超过两成)通常说明判据本身有洞,先修标注指南再继续标注,而不是让两人私下商量着来。仲裁收口:分歧条目交第三人或周会仲裁,仲裁结论回写指南——判据随每一个裁决长大,指南是活的文档。

一致性还有个实用的维护手段:判例集。指南之外维护一份边界判例集——历史上争议过的 case 连同仲裁结论一起存档,新标注员上岗先读判例,标注中遇到相似情形按判例对齐;判例集定期瘦身,业务已变的过时判例移除,免得旧规则误导新标注。标注质量抽检常态化:每周随机抽一成已标注条目复标,一致率跌破阈值就暂停放量、回炉对齐——归因表的所有下游分析都建立在标签可信这个前提上,前提塌了,后面全是空中楼阁。

归因标签的真正价值在统计结构。每月出一张归因占比表:召回失败多少、排序失败多少、忠实性多少、整合失败多少、歧义与超纲多少——这张表就是优化路标。召回失败占六成,调提示词就是浪费时间,资源该砸向查询改写与召回源;忠实性占四成,重排再精也无济于事。占比还要看趋势:某类连续两个月上涨,多半是上游变更的副作用——换模型、改切块、动索引,归因表是最早的哨兵,比用户投诉早两周报警。占比表要与资源投入并排看:花在最大占比类上的工程量是否也对齐,错位了就调整方向。

流程要配最轻的工具,否则坚持不下来。标注界面一张表单就够:查询、答案、黄金上下文(可空)、两问的判定结果、小类标签、反事实检验是否做过、备注;存储走结构化字段而不是自由文本,后面所有统计才有的算。成本上算一笔账:每周二十条、每条双人标注十五分钟,一周的归因成本不过一个人天,比起在错误方向上调优两周,这是全库性价比最高的投入。

归因流程还有一个容易被省掉、不该省掉的产出:归因样本向评测集的回流。每个确认的 bad case 脱敏后转成评测条目,挂上归因标签——评测集因此带着「病历」生长,回归防线对历史上真实出过的问题保持免疫。归因与回归由此闭环:归因发现问题,评测集记住问题,闸门防止问题复发。让这套流程转起来的仪式是月度归因会:半小时,看三样东西——本月占比表、环比趋势、仲裁过的分歧判例;会上的决定只有两种——调整下月优化主线,或修订标注指南。会不必长,频率不能断:归因的价值在于连续,断续的归因只是散点,连续的归因才是趋势。

从归因到行动:修复路径与责任方

每一类归因对应一条成熟度不等的修复路径,也对应一个第一责任方。召回失败指向查询理解与召回源——查询改写、同义词、多路召回,责任在平台工程;排序失败指向重排与业务加权,同样在平台工程。忠实性错误指向提示词约束、输出校验器与模型选型,责任在算法;整合失败往往要动切块与上下文组装——把需要跨段推理的内容组织进同一上下文,算法与平台共同背。歧义问题的正解是澄清式反问的交互设计,责任在产品;超纲问题的正解是拒答兜底加知识运营补语料,责任在知识运营。归因表的每一行都该能回答「谁在什么时候修」——答不出来的类别,说明责任划分本身有洞,先补组织再补技术。

类别 判据 修复路径 责任方
召回失败 黄金块不在候选池 查询改写、多路召回 平台工程
排序失败 黄金块进池被挤出窗口 重排与加权调优 平台工程
忠实性错误 上下文正确仍答错 输出校验、提示词约束 算法
整合失败 多段信息未对齐 切块与上下文组装 算法与平台
歧义问题 同一问可多种意图 澄清式反问交互 产品
超纲问题 语料无支撑内容 拒答兜底、补语料 知识运营

归因驱动的规划按季度走:拿三个月的归因占比定下季度的优化主线,主线不超过两条,其余类别进观察名单。要防两种反模式。一是按嗓门分配资源:某个业务方声音大,他的 case 就被优先修——归因表存在的意义就是让资源跟着占比与趋势走,不跟音量走。二是追逐新类别:归因树执行中冒出六小类装不下的 case,先挂「待定」收集一个月,样本够了再决定是否开新小类;类别一多标注就漂,合并与新增都要走评审,保持三枝六类的小而稳,是这套语言能用十年的前提。归因表还是对外的翻译器:业务方问「为什么系统答错了」,工程团队用三大类的语言回答,配上占比与趋势,解释就从道歉变成了有数据的沟通——「本月超纲类占四成,这些是知识库尚未覆盖的内容,需要贵团队提供材料」,比一句「模型能力有限」更容易换来配合。归因语言对上对下都是成本最低的共识工具:管理层看得懂占比,工程看得懂小类,业务看得懂自己该补什么。

{
  "case_id": "bc-2026-1119-0042",
  "query": "年假可以折算成工资吗",
  "attribution": {
    "main": "retrieval",
    "sub": "rank_miss",
    "evidence": "黄金块在候选第 37 位,窗口截断于第 8 位"
  },
  "counterfactual": {
    "test": "gold_context_rerun",
    "result": "answer_correct"
  },
  "action": {
    "owner": "platform",
    "ticket": "RAG-1823",
    "status": "fixing"
  }
}

小结

归因标签是 RAG 团队的共同语言:有了它,周会从观点交锋变成看表说话;没有它,每个 bad case 都要重新吵一遍谁的锅。值得花一周把归因树定扎实——三大类、六小类、两问一检验的判据、反事实重跑的操作化验证;然后用抽样加对照、双人背靠背、仲裁回写指南的流程把标注质量立住,用月度占比表把优化的优先级钉死,让资源跟着占比与趋势走而不是跟着嗓音走。归因样本回流评测集,与回归防线闭环。标签体系贵在小而稳:每季度修订一次足够。归因错了,优化就是随机游走;归因对了,每一条 bad case 都是路线图上的一个坐标。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?