延迟预算解剖:一次 RAG 问答的毫秒账本

优化延迟的第一性纪律是先测量再动手——而多数团队的第一次动手就交了学费:把向量库从自建换成商业服务,检索段快了一截,端到端 p95 几乎没动,因为检索只占总延迟的一成,大头在别处。RAG 的延迟是六段串联的链条,任何一段都不是全部;不懂账本就优化,钱会花在占比最小的环节上。库内流式 RAG 一篇讲的是边检索边生成的体验工程,本篇讲预算:账怎么记才不失真、每一段怎么压、优化精力按什么原则分配。

手绘信息图:一次 RAG 问答的端到端延迟瀑布与各段占比

账本拆解:六段串联与量级感

先立账本。一次典型 RAG 问答串联六段:查询改写、召回检索、重排、上下文组装、模型首字、流式输出直至完成。每段的量级感(数字全部是示意,用来说明结构,不是行业标准值):改写是一次额外的模型调用,几十到一百多毫秒,复杂改写还会更长;向量检索几十毫秒量级,索引态良好时不是瓶颈;重排一两百毫秒,候选多、模型重时还会翻倍,是常被低估的隐性大头;组装本身只值十几毫秒,但它常被写成一串串行小 IO——查元数据、取父块、拼模板——每步几毫秒,叠加后就不可忽略;首字时间通常几百毫秒起步,且随输入长度增长,上下文越长、prefill 越慢;流式输出段由答案长度与吐字速率决定,它的体验归流式那篇管,但在预算表里仍要占一行。

这张账本有两个结构性观察。第一,六段是串联的:任何一段的延迟都直接加进总账,没有对冲;一段劣化,全体买单。第二,大头会漂移:检索侧优化到位后,重排与首字浮上来成为新的大头;换了更长的系统提示,首字段又膨胀——账本的占比是动态的,不是一次画好终身受用。这就是为什么优化必须对着当前账本而不是对着印象:三个月前的瓶颈排名,今天可能已经换了两轮。

两段的大头机制值得点透。首字时间花在 prefill:模型要把全部输入 token 过一遍前向计算才能吐出第一个字,计算量与输入长度近线性——这就是「砍输入」成为首字段第一杠杆的机制依据,也是为什么系统提示与历史对话这些固定的长输入每轮都在交同一笔 prefill 税;前缀缓存能对固定前缀免重复计算,是推理侧少数确定性高的延迟优化。重排的时间花在交叉编码器的逐对计算:每个候选都要与查询拼接送一遍模型,候选数乘单对耗时就是段延迟,没有跨候选的捷径——所以级联与收窄对它的压缩是线性的,候选减半、耗时减半。看懂机制再选杠杆,就不会在错误的段上堆优化。

一句话小结:六段串联各有量级,重排与首字是最常被低估的两段;占比动态漂移,账本必须常画常新。

逐段优化:把钱花在宽的河段

改写段的第一杠杆是跳过策略:不是每个查询都需要改写——短而明确的查询直接检索,改写只在多轮指代、口语化、术语混杂的查询上启用;判据可以极轻(长度、是否含代词),也可以加一个极小的分类器。第二手段是并行投注:改写的同时用原查询先跑一版检索,改写完成后用新查询再检索或直接进重排——用一点算力换掉一次串行等待,两条路径的结果合并去重。检索段的优化多在工程细节:索引预热、连接复用、查询并行打到多个分片;语义缓存命中能整段跳过,命中工程归缓存专篇。

重排段的延迟杠杆与成本杠杆同构:级联(轻模型海选、重模型只精排小名单)与候选收窄都在压缩这一段——本系列已有专篇算它的成本账,延迟账是同一套方案的另一面收益,候选从一百条收窄到二十条,重排时间同步掉一档。组装段最值得做的是并行化与预取:元数据查询、父块读取并行发出;热点文档的父块常驻内存缓存;模板拼接挪到检索阶段同步进行。这些几毫秒级的优化单看不起眼,但组装段排在首字之前,压掉的每一毫秒都直接挪进首字预算。

首字段是最大单项,杠杆按效力排序:第一是缩短输入——精选上下文、压缩无关段落,prefill 时间与输入长度近线性,砍输入是最直接的首字优化,且与成本账同向;第二是推理侧加速(量化、投机解码一类手段,收益以评测实测为准,不同框架兑现程度差异很大);第三才是换更快的模型——它牵动质量回归,代价最大、留到最后。输出段的长度控制也回灌总等待:答案越长收尾越晚,长度护栏在这里同时是延迟参数——生成参数一篇讲的三道闸,在延迟账里同样是三道闸。

把账本用起来只要一次算术。假设某系统稳态瀑布是:改写 120、检索 60、重排 180、组装 40、首字 500、流式完成 1500(全部示意值),端到端约 2.4 秒。团队此前的方案是升级向量库,检索 60 压到 30——总账只动了一个百分点。按占比排序的路线是:先攻首字(砍上下文,500 降到 300)与流式收尾(长度护栏,1500 降到 1000),再看重排(级联,180 降到 80),改写挂跳过策略(120 降到 40)——四步合计压掉约 800 毫秒,是换向量库收益的二十多倍。算术本身没有技术含量,它的作用是让团队在动手前先看见力气该往哪使。

一句话小结:先看哪段宽再动手——改写可跳可并行、重排走级联与收窄、组装做并行预取、首字优先砍输入。

测量基建:账本怎么记才不失真

账本失真的三个经典来源,各有对策。来源一是均值掩盖长尾:延迟分布天然右偏,均值会被长尾平滑掉,预算与告警都以 p95、p99 为准,并按查询类型分桶统计——简单事实问答与复杂多跳的延迟不是一个物种,混在一个分位数里互相污染。来源二是段间漏记:分段耗时的和与端到端观测对不上,说明有藏在段间的开销——排队、序列化、网络往返——分段与总账同时上报、定期对账,差额本身就是要追的线索。来源三是冷启动混入稳态:索引预热、模型加载、连接池建立只影响第一笔,账本按稳态记,冷启动单独一栏,否则优化决策建立在被启动成本污染的数据上。

type Span = { name: string; ms: number };

async function timed<T>(spans: Span[], name: string, fn: () => Promise<T>): Promise<T> {
  const t0 = performance.now();
  try {
    return await fn();
  } finally {
    spans.push({ name, ms: performance.now() - t0 });   // 每段独立计时
  }
}

async function answerQuery(query: string): Promise<string> {
  const spans: Span[] = [];
  const t0 = performance.now();
  const rewritten = await timed(spans, "rewrite", () => rewrite(query));
  const hits = await timed(spans, "retrieve", () => retrieve(rewritten));
  const ranked = await timed(spans, "rerank", () => rerank(query, hits));
  const ctx = await timed(spans, "assemble", () => assemble(ranked));
  const answer = await timed(spans, "generate", () => generate(query, ctx));
  report(query, spans, performance.now() - t0);   // 分段与总账一起上报
  return answer;
}

重试与降级也要进账本:一次查询里检索超时重试一次,端到端延迟就翻了一倍,但分段计时若只在成功路径上记录,重试的代价就消失了——计时段要覆盖含重试的全过程,失败率与重试率作为延迟的分母信号一起监控。这些埋点纪律听起来枯燥,但瀑布图的可信度完全建立在它们之上:账不准,后面的预算分配全是空中楼阁。

监控侧还有两条常被漏掉的口径。按渠道分桶:移动网络与办公宽带的延迟基线不同,混在一起 p95 永远难看且无法归因,渠道是延迟数据的第一分组键。看趋势配告警:分段 p95 的周环比突变要自动告警——延迟劣化多数由变更引入,告警的价值在于把「发现劣化」的时间从下一次用户投诉提前到变更后的当天。

一句话小结:测分位、按查询类型分桶、分段与总账对账、冷启动单列、重试计入——五条纪律撑起可信的账本。

预算方法论:以 p95 定盘子,按占比分精力

预算从体验目标倒推:先定端到端的服务目标——首字 p95 控制在什么量级、全文完成 p95 控制在什么量级(阈值由业务场景定,客服会话与内部检索的耐心完全不同),再把总预算按段分配、每段留出余量。分配的参照物是当前瀑布图的占比:占三成的段拿到三成的优化预算是合理起点;占百分之五的段,无论怎么压都撼动大盘——串联链路的加法本性决定了压缩占比最小的段对总和的贡献天然有限,这是「把钱花在宽的河段」的数学依据。

flowchart TD
    A["查询改写:可跳过、可与检索并行"] --> B["召回检索:预热、缓存、分片并行"]
    B --> C["重排:级联与候选收窄"]
    C --> D["上下文组装:并行取数与预取"]
    D --> E["模型首字:砍输入、推理加速"]
    E --> F["流式输出:长度护栏回灌收尾时间"]
    F --> G["端到端 p95:预算与告警的锚点"]
    G -.->|"每月重画瀑布图"| A
环节 量级感(示意) 主要杠杆 最常见的浪费
查询改写 几十至一百多毫秒 跳过策略、并行投注 全量查询无脑改写
召回检索 几十毫秒 预热、缓存、分片并行 冷启动混入稳态账
重排 一两百毫秒 级联、候选收窄 大候选配重模型
上下文组装 十几毫秒起 并行取数、预取 串行小 IO 叠加
模型首字 数百毫秒 缩短输入、推理加速 长上下文硬扛
流式输出 随答案长度 长度护栏 答案冗长拖收尾

预算超支时要有降级链,而不是硬扛。约定好的次序示例:超支先跳过改写直接检索,仍超则收窄重排候选或整段跳过重排,仍超则生成降档或缩短答案长度——每一级都是「牺牲一点质量换回一段延迟」的显式交换,触发条件、生效范围、恢复条件写进配置。降级链的价值在流量洪峰:平时用不上的它,洪峰时是守住 p95 的最后防线,且因为每级交换都是显式的,事后的质量复盘知道该归因到哪一级。

预算方法论的收尾纪律是瀑布图定期重画:配置在变、流量在变、模型在变,占比结论会过期——每月重画一次,让精力分配始终对着最新的账本。优化顺序也按占比排:先攻占比最高的段,压到与第二名持平再一起往下走,单段压到极致而放着下一个大头不管的做法,是延迟工程里最常见的力气花错处。

一句话小结:预算以端到端 p95 为锚、按当前占比分配精力、每月重画瀑布图,优化顺序跟着占比走。

小结

延迟是六段串联的加法,账本失真于三个地方:均值掩盖长尾、段间漏记、冷启动混入稳态——测量纪律先于优化手段,分段与总账对账、重试计入是账本可信的前提。逐段杠杆:改写可跳可并行,重排靠级联与收窄,组装做并行与预取,首字段砍输入最直接,输出段靠长度护栏回灌。方法论:以端到端 p95 定预算、按占比分精力、每月重画瀑布图。用户的耐心花在首字,不在全文——预算表的行序按体验敏感度排,优化精力的分配按占比排,两份排序对齐之日,才是延迟工程真正上路之时。账本文化比任何单点优化都值钱:团队里人人能说出当前瀑布的前三名,「快」才从感觉变成有数字、有分段、有余量、有降级的合同。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?