一次查询的成本解剖:token、算力与存储明细

月底账单出来,金额是上个月的两倍,会上没有人说得清多出来的钱买了什么——总量数字只回答「花了多少」,不回答「花在哪、值不值」。RAG 的成本账单只有拆到「每次查询」这一层,结构才会显形:哪些项随查询量线性走、哪些是固定成本的摊销、最大的那一项藏在哪。结构决定杠杆:看不清结构,降本就是蒙眼砍预算。本系列已写过 rerank 的成本工程与大小模型的分工杠杆,本篇把镜头拉到整条管线,逐行算一次查询的明细账——宏观的投入产出是成本经济学一篇的话题,这里只管微观账户。

手绘信息图:一次查询的成本账单六行明细与最大项高亮

六行明细:一次查询的账单结构

把一次查询的成本记成六行。第一行查询改写:一次小模型的调用,输入输出都是小头,多数查询只有几十 token 的进出。第二行检索均摊:向量检索本身按算力与内存计价,不产生 token 账单,成本藏在索引的内存与机器账里,按查询量摊。第三行重排:商用接口按查询次数或 token 计费,自托管按 GPU 摊——专篇已拆过它的账,这里只占行。第四行生成输入:查询、系统提示、全部检索上下文的 token 总和乘以输入单价——这一行通常是一次查询的最大单项。第五行生成输出:答案 token 乘以输出单价,输出单价高于输入(截至 2026-11 主流模型的输出单价普遍是输入的数倍),但 token 量通常远小于输入,两项相乘多数时候仍屈居第二。第六行存储与运维均摊:向量库的内存磁盘、日志监控、评测与回滚的基础设施,这些是几乎不随单次查询变化的固定成本,按月查询量摊进每一笔。

输出单价高于输入的机制也顺带说一句:输入是一次性并行的前向计算(prefill),算力可以被吞吐摊薄;输出是逐 token 的自回归解码,每个 token 都要完整过一遍模型,天然更贵。这个机制还解释了另一件事——为什么长答案降本的优先级低于长上下文:输出 token 少,即便单价高,总量也难撼动输入行的地位;答案长度控制更多是体验与延迟的杠杆(延迟账本见本系列专篇),在成本账上只是次要项。

摊销口径要说清,否则账单没法横向比较。固定成本的摊销跟着查询量走:同样的基础设施,月查询量翻倍,单位成本里这一行直接减半——「涨流量降单位成本」在固定成本占比高的系统里是真的。反过来,流量低时这一行占比惊人,会让人误判边际成本:把固定成本混进单次查询的边际账里谈优化,会得出错误结论——砍掉监控省下的不是边际成本,是能力。六行账单还要约定一个前提:本文所有数字均为示意,量级感是真的,具体值以自家账本与厂商牌价为准。

一句话小结:六行账单里生成输入通常最大,检索与运维是按流量摊的固定成本,摊销口径不清则一切比较无效。

输入 token 的统治地位:乘法的两边

输入 token 之所以统治账单,是因为它站在一个大数乘法的中央:一边是上下文长度——五条候选、每条几百到上千 token,加上系统提示与历史对话,一次查询的输入轻松过万;另一边是输入单价——它虽低于输出单价,但乘上大一个数量级的 token 量,乘积反超。做个算术示意(数字是假设,量级感是真的):上下文八千 token、输入单价按输出的三分之一计,输出五百 token——输入行的成本约是输出行的五倍。这个比例在候选多、切分长的系统里还会更悬殊;对话场景叠上多轮历史,输入行进一步膨胀。

多轮对话让输入行的统治更进一步:每轮请求都把历史完整重算一遍输入账,十轮对话的第十轮,输入里躺着前九轮的全部内容——会话的累计成本随轮次超线性增长,因为每轮都在为越来越长的历史付费。两个工程对策:历史裁剪与摘要,控制随轮次带入的历史长度;前缀复用,让推理侧对固定的系统提示与未变更历史段免于重复计算(自托管场景收益直接,按 token 计费的账单口径未必可见)。会话级成本与查询级成本要分开建账——只看单次查询,多轮场景的成本结构完全隐形。

这个结构立刻给出量化结论:上下文砍掉三成,输入行近乎同步砍三成,其余五行纹丝不动——上下文精选是唯一能直接削最大项的杠杆。精选的代价在质量侧:砍掉了不该砍的段落,答案失去关键依据,错误率上升,重试与人工复核的成本又把省下的钱吃回去。所以精选的工程形态不是「少给点」,而是「给准的」——rerank 收窄候选、按查询意图裁剪段落、父子检索只回填被引用的父块,都是「砍 token 不砍依据」的实现路径。它们的共同验收标准只有一条:输入行降下来的同时,端到端答案质量在评测集上不降。成本与质量的联合验收,是防止降本变降智的唯一护栏。

def query_cost(chunks, answer_tokens, prices, infra_monthly, monthly_queries):
    rewrite = 80 * prices.rewrite            # 改写:进出各几十 token(示意常数)
    retrieve = prices.retrieve_per_query     # 检索:算力摊销的单次均价
    rerank = len(chunks) * prices.rerank_per_chunk
    ctx_tokens = sum(c.tokens for c in chunks)
    gen_in = (CTX_BASE + ctx_tokens) * prices.gen_in   # 最大项:上下文长度乘单价
    gen_out = answer_tokens * prices.gen_out
    amortized = infra_monthly / max(monthly_queries, 1)   # 固定成本按月查询量摊
    items = {"rewrite": rewrite, "retrieve": retrieve, "rerank": rerank,
             "gen_in": gen_in, "gen_out": gen_out, "infra": amortized}
    items["total"] = sum(items.values())
    return items

一句话小结:输入成本等于上下文长度乘单价,砍上下文是唯一直击最大项的杠杆,验收必须成本质量一起过。

降本杠杆的排序:幅度乘风险

杠杆不是平权的,排序看两个维度相乘:能省多少、赌上什么质量风险。第一杠杆是上下文精选与压缩:直击最大项,节省幅度与上下文在账单里的占比成正比,风险集中在「砍错依据」,用 rerank 与意图裁剪控风险。第二杠杆是缓存命中:语义缓存(本系列已有专篇)命中的查询免掉从改写到生成的整条账,只付一次缓存查询的零头——节省幅度取决于命中率,而命中率是运营变量:高频重复查询多的场景命中率天然高,长尾场景省不了多少。第三杠杆是模型档位:生成模型降档或大小模型组合(分工那篇的杠杆),输入输出两行同时打折,风险是质量回归,降档必须过评测。第四杠杆是候选收窄:重排行与输入行双降,幅度中等,风险是召回边界的答案丢失,收窄幅度由上游召回质量决定。

排序还要防两个反杠杆。其一是「无脑换便宜模型」:输入行的单价降了,答案质量下滑把重试率与用户流失抬上来,账面省的钱从别处加倍流走——单位经济账要把重试成本记进去才算完整。其二是「为省 token 上压缩」:压缩摘要本身要花一次模型调用,省下的输入 token 要先抵掉压缩的调用成本,净节省常常不如直接精选——压缩有它自己的账,别当成免费午餐;而且压缩引入一次额外的信息有损传递,质量风险比精选高一档。

用一次推演看杠杆怎么落地。假设某系统单次查询账单结构是:生成输入六成、生成输出一成五、重排一成、其余一成五(示意比例)。先上候选收窄加意图裁剪,上下文从八千 token 压到五千,输入行降近四成,总账直降约两成半——这是第一杠杆的效果量级。再叠缓存:若三成查询命中缓存,均摊后总账再降两成上下。两步下来单位成本接近腰斩,且质量风险都有明确护栏(精选过评测、缓存带失效策略)。反过来先动模型档位,输入输出两行打七折,总账降一成五左右,却背上了全量的质量回归成本——顺序不同,同样的工程量换回的节省差一倍以上。

flowchart TD
    Q["一次查询的成本账单"] --> A["改写 token:小额"]
    Q --> B["检索与运维均摊:固定成本"]
    Q --> C["重排:候选数乘单价"]
    Q --> D["生成输入:上下文长度乘单价"]
    Q --> E["生成输出:单价高量小"]
    D -->|"直击最大项"| L1["杠杆一:上下文精选压缩"]
    B -->|"命中免整条账"| L2["杠杆二:语义缓存"]
    E -->|"两行同时打折"| L3["杠杆三:模型档位"]
    C -->|"重排与输入双降"| L4["杠杆四:候选收窄"]
杠杆 削减的主要分项 节省幅度 质量风险
上下文精选压缩 生成输入 随上下文占比走 砍错关键依据
语义缓存 近乎全部行 随命中率走 缓存答案过期
模型档位 输入与输出 中高 质量回归不达标
候选收窄 重排与输入 中 边界召回丢失

一句话小结:杠杆按幅度乘风险排序——精选压最大项、缓存赌命中率、降档过评测、收窄看上游,同时防住换模型抬重试与压缩不免费两个反杠杆。

单位经济的运营化:把成本变成一条曲线

成本优化的落地形态是一个指标:每次查询成本,按场景与栏目分桶统计。它比月度总额多三样东西。归因能力:改了上下文长度、换了重排档位,单位成本曲线当月就反应,改动与账单的因果关系直接可见——月度总额只能看趋势,单位成本才能归因。分场景视角:客服问答、内部检索、合规核查的单位成本天然不同,混在一个平均值里,任何一处的异常都看不出来;分桶之后,哪类查询贵、贵在哪一行,一目了然。与价值侧对账的基础:单位成本乘以查询量是供给账,它要和业务侧的收益账放在一张表里看——单位成本很高的场景未必该砍,它可能服务高价值查询;单位成本很低的场景也未必该扩,它可能被低价值查询灌水。

运营节奏上,单位成本曲线进监控看板,与延迟、质量指标并排:三条曲线一起看,才能识别「省了钱、慢了响应、丢了质量」的假降本。预算与告警也挂在单位成本上:单位成本突变通常是配置事故的第一信号——上下文模板超长、重排候选失控、某渠道流量结构突变,单位成本曲线都比月账单早三十天报警。归因的价值用一个事故形态说明:某月单位成本突然抬升两成,月账单只能看到总额在涨;分桶曲线显示只有「合规核查」场景在涨,账单行分解显示输入行在涨,再查配置变更记录——该场景的上下文模板在半个月前被塞进了一份超长的制度附录,每次查询都全文携带。从发现到定位到修复,单位成本账全程提供了路径;只有月度总额的团队,同样的故事要在下一次预算复盘时才被倒推出来。成本核算的粒度决定成本管理的粒度:账只到月,管理就只能到月。

一句话小结:每次查询成本是唯一能归因的成本指标,分桶统计、三条曲线并排,假降本无处藏身。

小结

成本优化的第一步是把账拆到每次查询:六行明细——改写小额、检索与运维按流量摊、重排按候选计价、生成输入通常最大、生成输出单价高量小、固定成本随流量稀释,摊销口径先讲清楚。输入 token 的统治地位来自「上下文长度乘单价」的乘法,上下文精选是唯一直击最大项的杠杆,验收必须成本与质量一起过。杠杆按幅度乘风险排序:精选、缓存、档位、收窄,同时防住「换便宜模型抬重试率」与「压缩本身不免费」两个反杠杆。月度账单只配看趋势,单位经济账才能归因与决策——把每次查询成本当成与延迟、质量并排的运营指标,成本工程才算入了门。把账拆到行、把指标拆到桶,是这套方法不变的两步,其余杠杆都挂在这两步的骨架上。

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?