检索服务的 SLO:召回率也是服务目标

一套检索服务,可用性 99.9%、p95 延迟 180 毫秒,监控面板绿得发亮——然后客服团队来敲门:这周用户反馈「答非所问」的投诉翻了一倍。这就是传统 SLO 视角在 RAG 上的失灵:可用性与延迟只承诺「服务在」,不承诺「服务得好」;而用户对检索的信任,是被质量击穿而不是被宕机击穿的——宕机是明确故障,答非所问是慢性中毒。库内「生产监控与调试」一篇讲的是观测与调试链路,本篇往前一步讲目标本身:一个完整的检索 SLO 应该长什么样,质量怎么度量、错误预算怎么花、劣化了怎么分诊。

手绘信息图:检索 SLO 面板——可用性、延迟、质量、安全四维指标与错误预算

SLO 的四个维度:两维传统、两维 RAG

维度一,可用性,但定义要重写。传统定义「进程活着、接口返回 200」在检索场景严重不足——接口正常但返回空结果、返回全不相关结果,对用户就是不可用。检索的可用性 SLI 应该定义为「探针查询返回合格结果的比例」:一组固定的探测查询周期性打线上链路,结果命中预期文档才算成功。健康检查端点只能证明服务活着,探针才能证明服务正常——两者的差别就是「宕机告警」与「哑故障告警」的差别。

探针本身也要养护。探测查询集要随语料与业务演进:产品改名、文档下线对应的探针会永久失败,混进 SLI 里就是恒定的假劣化;新上线的业务线要有自己的探针,否则那一域的故障在可用性数字上隐形。探针的运行成本也要控制——探测查询走完整链路且旁路缓存,频率过高是自己给自己加压,过低又测不到间歇性故障;常见折中是分钟级低频探针加变更后加密探测。还有一层判定规则要写清楚:单条探针失败可能是探测集自己的问题,连续多类探针同时失败才是服务问题——SLI 的计算要把这层区分编码进去,否则可用性数字自己先失真。

维度二,延迟。p95 与 p99 分位、按查询类型分桶(简单事实问答与复杂多跳的延迟分布不是一个物种),这些是通用做法;RAG 特有的是延迟预算与质量预算的联动——为压延迟砍掉重排段,检索质量立刻变化,两个 SLO 不是独立的,调任何一个都要看另一个的反应。

维度三,质量,RAG 特有维度。SLI 定义为「抽样相关性达标率」:从真实查询日志分层抽样,对检索结果或答案判分,统计达标比例。注意它测的是生产流量的质量,与离线评测集的回归测试互补而非替代——评测集测「改动有没有弄坏已知场景」,质量 SLO 测「真实流量今天满意不满意」。维度四,安全:越权拦截率。它不是「目标 99.9%」的普通指标,而是不变量——目标就是 100%,任何一次越权检出都是 P0 事故,触发的是应急响应而不是预算扣减。四维里安全独一档:其余三维有错误预算,安全没有。

一句话小结:可用性用探针重定义,延迟与质量联动看待,质量是生产流量上的新维度,安全是不变量不是指标。

质量 SLO 的实现:滚动抽样与错误预算

质量 SLO 的工程实现是一条抽样评测流水线。抽样:每天从真实查询日志分层抽样固定条数——按查询类型、业务线、时段分层,确保长尾不被高频查询淹没,样本先去掉重复与无意义查询。判分:自动判分用模型裁判对「查询-结果对」按标注口径打分,裁判本身要定期用人工标注校准——裁判与人类判断的一致率也要监控,漂了就重校准;小比例样本走人工复核,既是校准集也是口径漂移的哨兵。统计:达标率按 7 天滚动窗口计算,窗口太短噪声大、太长反应钝;同时分桶输出——整体达标率 96% 时,如果某一类查询只有 80%,平均数就把一次局部塌方藏起来了。

错误预算是让 SLO 从展示变成决策的机制。质量目标定 95% 达标率,一周抽样 700 条,预算就是 35 条不达标——预算烧穿,自动触发两件事:变更冻结(禁止合入影响检索链路的改动,先把劣化原因找出来)与降级预案(切回旧索引版本、缩短 top-k、提高拒答门槛,宁可服务能力收缩也不让质量继续滑)。质量跌了先降级,这个顺序不能反:很多团队的第一反应是「找原因」,找原因要一天,降级要一分钟——用户在这一天里继续拿劣化结果喂模型。「生产监控与调试」篇讲的归因链路在这里接管:降级止损之后,再按链路逐段找原因。

质量目标线定在哪,是一门平衡术。定太高——比如 99%——预算太薄,正常的查询波动就把预算烧穿,变更冻结成了常态,团队开始绕过流程偷偷上线,SLO 反而失效;定太低——比如 85%——形同虚设,劣化几个月都碰不到线。务实的做法是从用户可接受水平倒推:拿一段历史数据对比「抽样判分不达标」与「用户点踩、人工转接」的相关性,找出判分低于多少时用户明显开始不满,那条线就是目标线的候选,再留一点缓冲。目标线每年重估一次,随业务期望抬升;错误预算的周期用周而不用月——周期越长,劣化的发现与止损越钝,预算的消费速率比存量更值得告警。抽样频率也要跟业务节奏联动:常规期每日一批,大版本发布后的观察期加密到每几小时一批——发布是质量风险最集中的时段,抽样密度要贴着风险走。

flowchart TD
    A["真实查询日志"] --> B["分层抽样:类型与业务线与时段"]
    B --> C["自动判分:模型裁判,人工校准"]
    C --> D["7 天滚动达标率加分桶统计"]
    D --> E["对比 SLO 目标线"]
    E -->|"达标"| F["正常迭代"]
    E -->|"预算消耗加速"| G["告警分诊"]
    E -->|"预算烧穿"| H["变更冻结加降级预案"]
    G --> I["归因修复,复测后恢复迭代"]
    H --> I

一句话小结:抽样保证测的是真实流量,裁判校准保证判分可信,滚动窗口加分桶保证劣化无处藏身,错误预算把指标变成行动。

告警分诊:劣化归因的三条路径

质量告警的第一反应不是修,是分诊——三条归因路径各有第一检查点。索引侧:增量同步是否中断或滞后(同步队列积压、连接器报错)、是否有坏分片(某个分桶的查询全空)、最近是否有索引变更没走完观察期。模型侧:上游静默换版是 RAG 时代最阴险的劣化源——嵌入服务商升级模型导致向量空间漂移、生成模型供应商切换默认版本,接口不变、行为已变;对策是每次调用带上模型版本号并落日志,版本号变化一出现,归因立刻完成一半。上游语料侧:解析器升级、某个来源批量灌入脏数据、文档系统改版导致抽取质量下滑——特征是劣化集中在特定来源或特定时点之后开始。

分诊的输出决定处置路径。索引侧问题回滚或补数据;模型侧问题要么锁定版本(与供应商协商固定版本或本地缓存模型),要么先跑一次全量回归确认影响面再决定是否重嵌入;语料侧问题修解析、清洗,必要时把坏数据从索引摘除。三条路径的处置主体不同——平台、算法、数据运营——所以分诊要在告警里带上初步证据(版本号变化、来源分布、分桶塌方点),让告警直接路由给对的人,而不是让三个团队在群里对质。告警线本身也要分层:预算消耗加速走工单,烧穿走页面呼叫——把呼叫留给真正需要在半夜被叫醒的事。

一个静默换版的案例值得记录(细节已模糊化):某团队的检索质量达标率连续三天缓慢下滑,没有发布、没有索引变更、没有同步异常——三条路径的第一检查点全过。第四天有人注意到嵌入调用的版本号日志里出现了一个没见过的后缀:服务商在不动接口的前提下切换了默认模型版本,向量分布整体漂移,探测查询的重合率全线下降。因为版本号落了日志、探测基线留了档,从发现线索到完成归因只用了一个小时:锁定版本回滚、与服务商协商固定版本、评估受影响时段的索引是否需要重嵌入。这个案例的后半段同样重要:供应商承诺「不再静默变更」只能写进合同,工程上的真正保障是每次调用记录版本号、每次验收比对基线——信任供应商,但让供应商可被验证。

分诊要有值班与升级路径的配套。质量告警不像宕机告警那样「响了就修」,它需要有人判断「这是波动还是趋势」——判断依据是预算消耗速率与分桶塌方的持续性,这些判据要写进值班手册,而不是留在质量负责人的脑子里。升级路径同样要明确:单桶塌方由对应业务线负责人接手,全域劣化升级为事故,冻结由平台侧执行——谁来宣布冻结、谁来宣布解除,要有名字。没有值班与升级的配套,SLO 告警会退化成周报里的一行红字:看见了,没人动。

SLO 的对外呈现同样要设计。四维数字不能直接甩给业务方——可用性与延迟他们看得懂,质量达标率与错误预算需要翻译:达标率 95% 意味着「一百次检索里至少九十五次给出相关结果,不达标的那几次系统会更谨慎地拒答而不是硬答」。每月一份的 SLO 报告要有趋势、有分桶、有预算消耗记录、有本月冻结与降级事件的复盘——它既是工程团队的自检,也是与业务方对齐期望的载体。SLO 最怕的结局是变成内部黑话:业务方不知道承诺了什么,出了问题才第一次听说这些指标;把报告做成业务方能读懂的语言,质量承诺才算真正生效。

维度 测量手段 告警线设计(示意)
可用性 探针查询合格率 目标 99.9%,探针失败即呼叫
延迟 p95 与 p99 分桶 越预算线走工单,持续越线呼叫
质量 滚动抽样达标率 预算加速告警,烧穿冻结变更
安全 越权拦截审计 检出即 P0,无预算
def daily_quality_sample(logs, n=100):
    strata = group_by(logs, key=lambda q: (q.biz_line, q.query_type))
    sample = stratified_sample(strata, n)          # 分层抽样,防长尾被淹没
    judged = [judge(q, retrieve(q)) for q in sample]
    pass_rate_7d = rolling_mean(judged, window=7)  # 滚动窗口达标率
    bucket_report = per_bucket(judged)             # 分桶:局部塌方不进平均数
    emit_slo_metric(pass_rate_7d, bucket_report)

一句话小结:分诊先于修复,三条路径各认各的锅,告警带证据直接路由——平均分不塌不代表没有塌方。

小结

检索 SLO 的完整形态是四个维度加一个机制:可用性按探针定义、延迟按分位分桶、质量按滚动抽样、安全按不变量;错误预算把四者从面板数字变成迭代决策——预算充裕时放心迭代,预算告急时收敛变更,烧穿时冻结加降级。它的终极价值是时间差:质量劣化从「用户投诉后发现」提前到「抽样判分发现」,从被动救火变成主动治理。信任是检索系统的硬通货,而信任的损耗几乎都从「变差」开始——SLO 的意义,就是让变差在用户感知之前就被看见。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?