RAG 评测进 CI:配置变更的回归防线

周五傍晚合入一个 prompt 模板小改动,只是把引用格式的措辞挪了个位置;周一上午客服发现,法务类问题的回答集体漏掉了条款编号。全程没有任何告警——告警只盯服务存活,不盯答案质量。RAG 的每次改动都可能悄悄弄坏另一类查询;把评测放进 CI,让回归在合并之前被发现,而不是在用户投诉之后被发现。

手绘信息图:配置变更的评测闸门——提交、自动评测、分数对比、放行合并的防线流程

哪些改动需要回归:按爆炸半径分档

爆炸半径最大的是 embedding 模型换版:向量空间整体迁移,所有查询与所有文档的相关性都可能重排,等于换了一个检索器——这种改动必须全量评测加灰度发布,跳过任何一步都是在赌运气。其次是最容易被低估的一类:供应商静默更新。API 上的模型名没变、行为在变,检索与生成两头都可能被波及;防御手段是定期用固定探针查询集跑分数,分数漂了就按「模型变了」处理,哪怕供应商没发任何公告。rerank 模型升级影响排序层,半径居中:进上下文的最终名单会变,召回池不动。生成模型小版本升级通常改变语气、格式与拒答倾向——检索层无恙、生成层变动,分层评测在这时显出价值:检索分数纹丝不动、生成分数动了,嫌疑范围立刻收窄一半。

配置级改动的隐蔽性更高,因为它们常被当成「顺手一改」。切块参数是典型:块大小与重叠一变,同一查询命中的块内容全变,而且它联动 embedding——切块改了必须全库重嵌入,新旧向量不同源不能混,这类改动的真实半径接近模型换版。prompt 模板的敏感度超出多数人直觉:挪动一句格式要求,可能改变引用行为、拒答倾向与答案长度分布,对长尾查询的影响尤其不均匀。rerank 档位(开关、候选深度、阈值)决定谁能进上下文,调一档松紧,简单查询无感、边界查询翻天;top-k 与相似度阈值同理。判断要不要触发回归,别看改动行数,看它动了链路的哪一层:动检索层的走全量,动生成层的走分层评测,动 prompt 的至少过核心快速集。一句话分档:改的是哪一层,评测就走多深;分档的目的不是少测,是把有限的评测预算花在半径最大的改动上。

分档还需要一张挂了名字的清单:把团队常做的改动类型、各自要求的评测深度、各自的放行条件写成表格,放进工程手册。没有清单,分档就靠临场判断,而临场判断在周五傍晚的可靠程度,所有人都知道。把分档落到日常,靠的是变更登记的纪律:每次合并请求写清楚动了什么——组件、参数、预期影响层,评审者据此选档。改动者最容易犯的错不是故意逃评测,而是把「改配置」不当「改代码」,一个参数翻转不觉得需要走流程;防线的前提是全员承认配置就是代码。变更登记还有个附带收益:事故复盘时能立刻回答「最近两周动了什么」,排查范围从全系统缩小到几张登记行。

CI 评测的设计:快速集当闸门,夜间集当雷达

快速集的设计目标是在分钟级跑完、在每个合并请求上必跑,因此规模控制在百条上下,讲究覆盖而非全面:每类核心场景留固定名额,历史事故的查询原样收进来做事故回放条目——每一次线上回归都应固化成快速集的一个条目,让同一个坑没有第二次机会;再配少量边界查询与对抗样本。快速集每次跑三件事:主指标对基线的差值、护栏指标的劣化检查(越权命中、引用覆盖率、拒答率)、分桶速览。基线的取法有讲究:对比对象是主干分支最近一次落盘的评测报告,不是本地上次跑出的数——后者可能带着未合并的本地改动,比错了对象,结论就是错的。

放行规则要写成机器可判的规则,而不是「看起来没差多少」。主指标劣化超过容差即拦截,护栏指标一票否决;容差不能拍脑袋——同一份配置在同一份评测集上连跑两次,分数也有抖动,生成端的采样随机性、评审模型的随机性、近似索引的并发扰动都会贡献噪声。先把「无改动重复跑」的波动幅度实测出来,容差设成波动上限再加余量,这个数字要写进闸门配置,随代码一起评审。夜间全量集承担快速集放不下的部分:千条级规模、按意图与难度分桶出报告,专抓「平均分没动、某个桶塌了」的局部回归;报告第二天晨会扫一眼,发现劣化当天定位。快速集是闸门管当下,夜间集是雷达管纵深,缺一不可。快速集自身有维护成本,别让它无限膨胀:条目进集要走门槛——真实的线上查询、可判定的期望(命中哪些来源、该答哪类答案)、过一次评审;每季度清一次集,产品改名、流程作废的旧条目会变成永久扣分的幽灵故障,评测机长期追着一个已经不存在的业务打。规模压在一百条上下的理由很实际:跑得快才跑得勤,每个合并请求都过一遍的闸门,比跑得全但没人等得起结果的闸门有用得多。夜间全量集的构成也有纪律:核心层复用快速集条目保证口径连续,长尾层按生产查询分布抽样——评测集的分布要贴着生产的分布走,否则夜间报告守的是一个不存在的世界;难度层专收历史难题与边界样本,探系统的下限。跑完的报告落盘为带版本号的基线,闸门每次比对都指向明确的版本号——「和哪个版本的基线比」说清楚了,放行结论才有可追溯性。

flowchart TD
    A["合并请求:改了切块、模型或模板"] --> B["自动评测:核心快速集,分钟级"]
    B --> C{"主指标与护栏对比基线"}
    C -->|"劣化超容差"| D["拦截:回退或修复后重跑"]
    C -->|"容差以内"| E["放行合并"]
    E --> F["夜间全量集:分桶报告"]
    F --> G{"某个桶塌了?"}
    G -->|"是"| H["白天定位修复,事故回放进快速集"]
    G -->|"否"| I["基线报告更新,本轮结束"]
NOISE_FLOOR = 0.012      # 无改动重复跑实测出的最大漂移
MAIN = ["ndcg_at_5", "recall_at_20"]
GUARDS = ["unauth_hit", "citation_cover", "refusal_rate"]

def gate(report, baseline):
    fails = []
    for m in MAIN:
        if report[m] - baseline[m] < -NOISE_FLOOR:
            fails.append("主指标劣化:" + m)
    for b, v in report["buckets"].items():
        if v < baseline["buckets"][b] - NOISE_FLOOR:
            fails.append("分桶劣化:" + b)
    for g in GUARDS:
        if report[g] < baseline[g]:
            fails.append("护栏劣化,一票否决:" + g)
    return fails          # 返回空列表即放行,非空即拦截合并

闸门的工程落点也有讲究:评测报告作为工件挂到合并请求上,分数对比直接贴在评审页里,评审者不用跳转就能看到「这次改动让哪些指标动了多少」;闸门设为必过检查,绕过闸门要显式说明理由并留下记录——留通道是现实,留记录是底线。评测环境还要盯着:跑评测的索引版本与依赖版本要和生产对齐,环境漂移造成的分数变化会被误判成改动效果,追查半天发现是评测机上的向量库版本落后了,这类乌龙消耗的是团队对防线本身的信任。

结果的解读纪律:噪声、分桶与事故回放

解读分数前先建噪声地板:把当前主干配置在快速集上连跑若干次,记录每个指标的最大漂移;低于噪声地板的变化一律当噪声处理,不值得开会讨论。评审类指标的噪声要单独测:换一次评审模型或改一次评审提示词,全量分数可能整体平移,此时该重刷基线,而不是追查系统哪里错了。另一条纪律是只从重复同向的变化里下结论:一次评测的分数是估计值,百条样本里一两条翻转就能摆动一个百分点,连续两次同向变化才值得写进结论,单次读数只配写进观察记录。噪声管理还有一个便宜的手段是固定采样:评测链路里所有带随机性的环节——生成端固定种子或温度归零、评审模型固定版本、检索端关闭动态探索——能固定的全固定,把噪声压到只剩不可控的部分;固定不了的部分要如实留在容差里,而不是假装它不存在。容差是为真实噪声设计的,不是为侥幸心理设计的。

分桶报告是防止平均数杀人的关键。总体指标从 0.81 到 0.82 的改动,可能同时让简单查询涨了 3 个点、多跳查询跌了 8 个点——平均把事故抹得干干净净。分桶维度至少保底一组:按意图或栏目、按查询长度、按答案类型(事实型、列表型、对比型);每次变更后重点扫小桶,小桶样本少、波动大,但生产事故恰恰多从小桶开始。事故回放机制把解读闭环:任何一次线上回归,其查询脱敏后进快速集,归因结论写进条目备注——快速集因此越用越懂这套系统,它不是静态资产,是组织记忆。

分数掉了之后的归因路径也要提前想好,别等警笛响了再现场发明流程。第一步分层对比:检索层指标掉了还是生成层掉了——只掉一层,嫌疑收窄到那一层的改动;两层都掉,先查公共依赖(索引版本、模型服务、评测环境本身)。第二步二分定位:照着变更登记把候选改动排队,逐项或分组回放到干净环境复跑评测,两三轮就能把肇事者钉住。第三步回归注记:定位结论与修复方案写进事故回放条目,让下一轮讨论从结论开始,而不是从猜测开始。缺了这套路径,闸门只能告诉你「坏了」,救不回来;有了这套路径,回归从事故降级为例行公事。

改动类型 评测重点 放行标准
换 embedding 模型 全量集全指标 主指标不劣化,分桶逐个过
改切块参数 召回与排序双层 快速集先过,夜间集复核
改 prompt 模板 生成层指标与护栏 引用覆盖与拒答率不劣化
调 rerank 档位 排序指标与噪音率 精确类指标提升达容差

表格给的是默认档位,团队可以在每次事故之后追加更严的档位——防线收紧要果断,放松要慎重;每一次放松都该在记录里回答「凭什么这次可以信」。放行之后也不是终点:改动合入后的首个夜间全量报告要重点复核该改动相关的分桶,闸门放行的是「快速集上没坏事」,夜间报告确认的才是「真的没坏事」——两道确认都过,这次变更才算真正落袋。

小结

CI 评测的价值不是「能测」,是「敢改」:防线可信,团队才敢在高频迭代里动检索层的关键参数。设计要点三件事:改动按爆炸半径分档,分档清单写进工程手册;快速集分钟级当闸门,夜间全量集分桶当雷达;容差从无改动重复跑的噪声里实测,写进闸门配置随代码评审。解读纪律三件事:低于噪声地板的变化当噪声,小桶劣化不许被平均分掩盖,结论只从重复同向的变化里下;每次线上事故回放进快速集,让防线随组织记忆增厚。没有回归防线的调优,赢一次输十次;而防线本身也要持续维护——评测集会过时,基线要随发布滚动,这条防线的可靠程度,就是团队迭代速度的真实上限。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?