索引的备份与全量重建:灾备不是可选项

凌晨两点的告警把值班工程师拽回电脑前:向量库集群滚动升级卡在第三个节点,某个分片的元数据写坏了,整个 collection 转入只读,检索请求成片超时。修复方向很快定了——重建这套索引——但三个问题没人能当场回答:源数据从哪重放、重放到可用要多久、重建期间这一千多个调用方用什么。灾备的水平就是在这样的夜里被测出来的;它不是一份文档,是一套演练过的能力。本篇把这三个问题展开成可建设的工程:三要素、重建流水线、降级与切换。

手绘信息图:索引灾备的三个问题——源数据还在吗、多久能重建、重建期间用什么服务

灾备三要素:源数据、流水线与恢复目标

第一要素是源数据的权威性。索引永远是派生物——从源文档经过解析、清洗、切分、嵌入一路变换而来,任何一环的参数变化都会改变产物。所以「索引丢了能不能重来」的第一个前提不是备份索引本身,而是源数据与全部变换参数都在权威管辖之内:源文档有唯一可信的存放地,切分参数、嵌入模型名与版本、索引 schema 都记录在配置里而不是某个同事的脚本里。最常见的翻车不是没备份,是重放条件不齐——文档还在、模型版本没记,重建出来的索引和三个月前的检索行为对不上,等于换了一套系统却没人知道变了什么。把索引当权威数据去备份,是把派生物供上神坛;真正要供的是「源数据加配方」。

源数据权威性再往深一层是重放起点的分层。完整的重放链是从源文档到最终索引,但中间产物——解析后的正文、切好的块——只要与当时的配方版本绑定存档,就是合法的重放起点:解析结果还在,就跳过最贵的解析段;块还在而嵌入模型没换,就只重算嵌入。为此要把中间产物当一级公民对待:带配方版本号落对象存储、设保留策略、随管线升级一起迁移。在这个基础上,快照与重建构成双层恢复策略:向量库自身的快照或跨集群副本是第一梯队,分钟级恢复绝大多数故障;从源数据全量重建是第二梯队,兜底快照也丢、迁移失败、需要换引擎重做的场景。只有第一梯队,遇到快照源本身损坏就全军覆没;只有第二梯队,每次小故障都要付出天级代价——两层都要有,且都要演练。

第二要素是重建流水线本身。它必须是一条可以反复执行的产品级管线,不是一次性的运维脚本:幂等(重跑不产生脏数据)、有进度(跑到哪一格看得见)、可断点续跑(嵌入跑到一半挂了,不必从解析重来)。很多团队的重建脚本只在第一次建库时跑过一遍,此后再没人碰——等到真要用的时候,脚本里的硬编码路径、过期的依赖、没人看得懂的参数,全部变成恢复路上的新故障。流水线的健康度要在平时维护,而不是灾时临时抢救。

第三要素是恢复目标,也就是 RTO 与 RPO 的 RAG 版口径。RTO 在这里指从「索引不可用」到「检索服务恢复到可接受水平」的时长;RPO 指可容忍丢失的更新量——对 RAG 来说,丢失的往往不是源文档而是增量同步的游标断点:重建完成后,增量管道要从哪个位点继续追、追多久能追平,决定了语料新鲜度缺口的大小。这两个数字必须实测:拍脑袋报「半天能重建」和实测「三天」的差别,就是事故现场多停三天。恢复目标一旦写下,就同时写下了对重建流水线的性能要求与演练频率——目标倒逼建设,这是三要素之间的因果链。

一句话小结:三要素缺一不可——源数据保证能重来,流水线保证重来得动,恢复目标把「能」变成有数字的承诺。

全量重建的工程:五段流水线与耗时实测

全量重建是一条五段串联的流水线:源重放、解析清洗、切分、嵌入、构建与切换。各段的瓶颈分布差别很大:重放与解析是 CPU 活,通常按小时计;切分几乎免费;嵌入是最贵的一段——按块数线性消耗配额或卡时,吞吐受 API 限流或 GPU 数量硬约束;构建段取决于向量库的写入路径,逐条 upsert 与批量导入的速度差可以达到数量级。做耗时实测时要把五段分开计时,因为压缩手段完全不同:解析慢就并行 worker,嵌入慢就加并发与批量化,构建慢就换 bulk 导入通道。

并行化有三个层次。段内并行:嵌入按批打满吞吐,同时守住上游限流——重建期间把配额烧光,只会让增量同步一起饿死。段间流水化:不必等全部文档解析完才开始嵌入,解析一批、嵌入一批,两段重叠执行,总时长从「各段之和」变成「最长段加少量尾巴」。构建分段:先把主体批量导入建成可用的索引,长尾增量再走 upsert 补齐。三招叠加之后,一条原本要跑三天的重建压到半天以内是常见结果——绝对数字随规模与预算浮动,结构性收益是稳定的。

一次真实的实测教训值得整段复述(细节已做模糊化处理):某团队计划把索引从自建集群迁到托管服务,排期写的是「周末两天」。实际跑下来三天还没完——第一晚卡在解析:重放脚本按单机设计,几十万文档的解析队列排到了第二天;第二晚卡在嵌入:没提前申请临时配额,服务限流把吞吐压到平时的三成;第三天才轮到构建,又因为走了逐条 upsert 的默认写入路径,导入时间比预期多一倍。三个坑没有一个超出已知知识,全藏在「没实测」三个字里:解析没并行过、配额没谈过、写入路径没比过。后来这家团队的规矩是:任何恢复目标写进文档之前,先在预发跑一遍全量重建,五段耗时各记一行——数字不齐,目标不准写。

一笔示意账可以说明量级感:五十万个块、单条嵌入 20 毫秒,单并发串行要一万秒出头、约三小时;换单条 200 毫秒的模型且仍然串行,就是一天以上;批量化加八并发,又能压回半小时量级。同样的语料,嵌入方案的不同选择之间差出一个数量级——这就是为什么要实测:吞吐差一个数量级,恢复目标就差一个工作日。实测还要留余量系数:灾备场景下嵌入服务可能正在限流、算力可能被其他任务占用,按顺峰状态算出的重建时长,在最需要它的那天必然失灵。耗时实测还要沉淀成一张会更新的表,而不是一条聊天记录:每次演练后记录五段各自的耗时、当时的语料规模、并发配置与限流状态——这张表让「重建要多久」从感觉变成有历史曲线支撑的数字,也能提前暴露退化:这季度的解析段比上季度慢了一倍,多半是脚本或依赖腐化了,趁还没出事先修。

flowchart LR
    S["源重放:从权威存储拉取文档与配方"] --> P["解析清洗:并行 worker"]
    P --> C["切分:套用快照配置"]
    C --> E["嵌入:批量并发,守限流"]
    E --> B["构建:批量导入建主索引"]
    B --> V["对账与探测校验"]
    V -->|"校验不过"| P
    V -->|"通过"| W["切换:别名指向新索引"]

一句话小结:重建是流水线不是脚本——分段计时、三层次并行、实测留余量,恢复目标才敢写进文档。

降级与切换:重建期间的服务形态

重建期间的降级形态按坏损范围选。分片级坏损:把坏分片从路由里摘掉,服务保持只读、覆盖不全但可用——调用方感知到的是「有些内容搜不到」,不是「整个系统挂了」。索引整体不可用而源数据健在:短期切 BM25 纯关键词检索顶上,质量降一档但业务不断流;这也是混合检索架构的隐藏红利——关键词通道平时是质量组件,灾时是生存组件。全坏且无降级通道:维护页加明确告知,好过让调用方拿着错误结果做决策。三种形态的选择依据是业务对「空结果」与「错结果」的容忍度:客服场景宁可降级,决策场景宁可拒答。

降级还有一道容易被忽略的工程面:调用方契约。降级状态下返回的结果覆盖不全或质量降档,调用方有权知道这件事——在响应里带上降级标志(响应头或结构化字段标明 degraded 与当前索引覆盖范围),让下游按标志调整行为:客服系统可以在降级时加一句「知识库部分维护中」的提示,Agent 编排可以把检索工具暂时切到拒答优先。没有这个契约,降级只是后台状态,业务侧拿降级结果当正常结果用,比明确报错更危险。降级标志要与降级动作同生共死:摘片时打上、恢复时摘下——忘了摘的降级标志会让下游永远抱着「系统不正常」的假设运行,这本身就是一种故障。

新旧索引切换前要做两道校验。第一道是对账:新索引的文档总数、按来源与栏目的分布、ACL 元数据完整性,与重建前的快照清单逐项核对——对账不是差不多就行,差出来的每一项都要有名有姓。第二道是探测查询对比:用一组固定的探测查询(覆盖高频与长尾)分别打新旧索引,比对 top-k 重合率与分数分布——重合率异常低说明变换参数漂了,回到第一要素去查配方。两道都过,再把别名切过去;旧索引保留到观察期结束再销毁,这是给「切换后发现不对」留的后悔药。

故障场景 恢复手段 目标耗时
误删 collection 快照恢复或全量重建 分钟级到小时级
分片元数据损坏 摘片只读,局部重建 小时级
集群迁移失败 回滚旧集群或重建 小时级
源数据损坏 备份恢复后重放 小时级起
def audit_rebuild(new_index, snapshot_manifest):
    mismatches = []
    for bucket, expected in snapshot_manifest.counts.items():
        actual = new_index.count_by(bucket)      # 按来源分桶对账
        if actual != expected:
            mismatches.append((bucket, expected, actual))
    probe_hits = new_index.batch_search(PROBE_QUERIES, top_k=5)
    overlap = mean_overlap(probe_hits, BASELINE_HITS)   # 探测查询重合率
    return mismatches, overlap   # 两项全过才允许切别名

最后是演练。上面所有数字——重建耗时、对账通过率、探测重合率、降级切换的手工步骤——都只在演练里才能变成可信的知识。演练不必大动干戈:每个季度在预发环境从源数据跑一次全量重建,计时并记录五段耗时曲线;半年做一次「摘片只读」与「BM25 顶上」的切换演习,把操作步骤写成 runbook,让没经历过事故的人照着跑一遍。演练会把设计文档里所有想当然的部分暴露出来——路径硬编码、权限没申请、配额不够——暴露在平时,就不必暴露在凌晨两点。

一句话小结:重建期间服务降级有谱、切换校验有单、演练每季有跑,灾备才算从设计变成了能力。

小结

索引灾备回答的从来不是「备份做了吗」,而是三个问题:源数据与配方是否齐备、重建流水线多久能跑通、重建期间用什么顶上。三要素里,源数据权威性决定「能不能」,流水线与并行化决定「多快」,降级与切换决定「断不断」;而把三者从纸面变成能力的唯一途径是定期演练。验收标准只有一条:这套流程最近一次被人完整跑通是什么时候——答不出来,灾备就还不存在。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?