RAG 的成本账：一次检索到底花多少钱

先说结论：对多数企业知识库场景，一次 RAG 请求的总成本大约在 1 美分上下，其中九成左右花在最后的生成环节；查询向量化几乎不要钱，向量存储每月只要几美元，真正决定账单的是「每次请求都要重付」的那部分——尤其是塞进提示词的上下文 token 与输出 token。更反直觉的是，把账算细之后会发现优化顺序应当与直觉相反：先优化生成（缓存与路由），再调检索参数，最后才轮到换 Embedding 模型或向量数据库——因为后两者在账单里占比最小。

本文把 RAG 的成本拆成「一次性入库」与「每次请求」两栏，给每个环节一个可以自己动手算的量级估算方法，再谈省钱杠杆与平衡框架。文中所有价格均为公开口径，截至 2026-10-29，厂商随时可能调价，以各服务商官方页为准。

成本结构总览：两栏账本

RAG 的成本要分两栏记。一栏是一次性的入库成本，随知识库规模线性增长，付完就沉淀为资产；另一栏是每次请求都要重付的边际成本，随查询量线性增长，决定产品的单位经济模型。

一次性这一栏包括四项：文档解析（PDF 转文本，付算力或视觉模型调用费）、切块（纯计算，几乎零成本）、全量 Embedding（按 token 一次性计费）、索引存储（按 GB 每月计费，严格说这项是持续的，但金额随规模固定）。每次请求这一栏包括：查询 Embedding（几十个 token）、向量检索（托管库按读取量计费）、Rerank 精排（可选）、LLM 生成的输入与输出 token，以及多轮对话里反复重付的历史消息。

flowchart TD
    A[用户提问] --> B[查询 Embedding · 几乎可忽略]
    B --> C[向量检索 · 库越大越贵]
    C --> D{本轮要不要精排}
    D -->|要| E[Rerank 精排 · 随候选数线性涨]
    D -->|不要| F[组装提示词 · 上下文计入生成账单]
    E --> F
    F --> G[LLM 生成 · 通常占单次成本九成]
    G --> H[返回答案]
    I[一次性入库 · 解析 · 切块 · 全量向量化] -.建索引时.-> C
    J[(索引存储 · 按 GB 每月)] --- C

算一笔具体的账

按一个中型知识库估：2 万篇文档、平均每篇 2000 token，共 4000 万 token；按 512 token 一块切出约 8 万条向量；1536 维 float32 存储每条 6 KB，裸存储约 0.5 GB。查询量按每月 10 万次估。各环节账单如下（单价取各厂商 2026-10-29 公开口径，假设每次召回 50 个候选块、生成输入约 3500 token、输出 500 token，未启用缓存）：

这张表直接回答了标题的问题：检索侧三项（向量化、检索、精排）合计每次约 0.0003 美元，不足半分钱；账单被生成环节拿走——单次约 0.9 美分，全链路月费约 970 美元里占九成七。当然，这是「生成用旗舰模型、不用缓存」的口径，下面会讲怎么把它压下去。

各环节的量级估算方法

token 计价口径

模型按「每百万 token」报价，输入与输出分开计价，输出通常贵好几倍：以 gpt-5 档位为例，输入 $1.25 每百万、输出 $10 每百万，输出是输入的八倍——所以「让模型少废话」本身就是省钱策略。算账前必须分清三个折扣口径：Batch API 约半价（离线批处理，gpt-5 批量输入 $0.625）；缓存输入大幅折扣（gpt-5 缓存输入 $0.125，约一折；gpt-4o 缓存输入 $1.25，五折）；以及按量的标准价。同一负载用不同口径算，结论能差一倍起步。

中文换算可用经验值：现代分词器下一个汉字约折 0.6 到 1 个 token，粗算按 1 字 1 token 高估即可。这类精度足以支撑量级判断，精确数字交给账单系统。

Embedding 与索引的存储成本

Embedding 单价已卷到地板价：OpenAI 的 text-embedding-3-small 为 $0.02 每百万（3-large 为 $0.13）；Voyage 从 voyage-3-lite 的 $0.02 到专用领域型号的 $0.18 一档；阿里云百炼的 text-embedding-v4 按知识库口径为 0.0005 元每千 token（约合每百万 0.5 元，国际站标价 $0.072）。前面算例里 4000 万 token 的全量向量化，用哪家都是几元到十几元人民币量级——一次性成本，可以忽略。

存储账更好算：一条 1536 维 float32 向量是 1536 × 4 字节，约 6 KB，100 万条约 6 GB。Pinecone 存储价 $0.33 每 GB 每月，6 GB 向量每月约 $2——存储从来不是大头，自建 pgvector 则是把这笔账折进数据库服务器的租金里。

托管向量库真正的账单是读取。Pinecone 的读取单位（RU）度量一次查询消耗的计算与网络资源：按命名空间每 GB 消耗 1 个 RU、每次查询最低 0.25 个，Standard 档每 100 万 RU 约 $16 到 $18。注意 top_k 取多少并不影响 RU，只有库的体积影响——0.5 GB 的小库每次走最低档，100 GB 的大库每次要 100 个 RU，同样月查 10 万次，检索费从 $0.43 变成约 $170，差 400 倍。小库的真实门槛往往也不是资源单价而是起步价：Pinecone Standard 档每月最低消费 $50。

一次性成本里还有一块容易被漏算：解析。基准研究 RAGPerf 对多种管道的实测显示，含 OCR 的文档管道里格式转换平均占索引阶段时长的 98.2%——解析贵的是时间与算力，不是 API 费。

Rerank 的延迟与费用

精排有两种计费口径。按次计费：Cohere 定义一次「搜索」为 1 个查询加至多 100 篇待排文档，单篇超 500 token 会被拆开计入文档数；第三方渠道口径 Rerank 3.5 约 $2 每千次搜索（其公开定价页现已转向按实例部署计价，每月 $2500 起，按量单价以控制台为准）。按 token 计费：Voyage 的重排按「查询 token 数 × 文档数 + 全部文档 token 总和」计价，rerank-3 为 $0.05 每百万——这个公式本身就是交叉编码器成本的直白写照：每条候选都要和查询拼在一起过一遍模型，候选越多、块越长，费用线性上涨。阿里云的 qwen3-rerank 与其向量模型同价，0.0005 元每千 token。

量级感受：一次精排 50 个候选块（每块约 300 token），在 Voyage lite 档约 $0.0003，按次口径约 $0.002——比生成便宜一个数量级，但比检索贵几十倍。

成本也不只是 API 费。RAGPerf 的实测里，PDF 管道的精排阶段要回取原文、平均触发约 90 次向量库查找，最坏占整轮查询时间的 87%——重排的真实价格是「API 费 + 延迟 + 工程复杂度」三样加总。

省钱的常见杠杆

其中三条值得展开。多轮对话的重复成本：不启用缓存的实现里，第 10 轮要把前 9 轮的消息全部重发一遍，输入 token 随轮次近似线性膨胀——这是很多团队「单次测试很便宜、月底账单吓人」的直接原因，官方的缓存输入折扣正是为此准备的，把系统提示与历史放前缀、可变内容放后缀即可自动命中。避免重复向量化是白捡的钱：文档没改就按内容哈希复用已有向量，配合 Batch API 离线入库，一次性成本还能再砍一半。语义缓存的收益上限最高也最危险：命中率完全取决于查询分布，客服场景常见问题集中、收益可观，开放问答则可能常年个位数；而一次「答非所问却通过了阈值」的错误命中，损失比省下的钱大得多。

成本与质量的平衡框架

先立三层预算观：固定成本（索引、存储、平台最低消费）做一次性决策，选定后金额基本锁死；边际成本（每次请求）决定单位经济模型——每查询毛利必须显著大于单查询成本，否则查询越多亏越多；隐性成本（评测集建设、解析管道维护、监控告警）不在任何定价页上，却常是最大的一笔。

决策顺序上，本文的观点是：先动生成（缓存、小模型路由、控制上下文长度），因为它占九成；再动检索参数（top-k、要不要精排），它是第二大项且调整立竿见影；最后才考虑换 Embedding 模型或向量库——它们在账单里占比最小，迁移成本却最高。这与「出了问题先折腾向量库」的常见做法正好相反。

平衡的工具是同一套评测集：每个杠杆上线前，在相同的评测问题上跑一遍质量与成本，画出成本-质量曲线再拍板（评测方法本系列已有专文，不展开）。原则只有一条：省下的每一分钱，都要能说出「用多少质量损失换的」；说不出来的省钱，是在用答错的风险换账单好看。

常见误区

• 只算 token 不算工程账。 API 费只是冰山一角：解析管道的算力与维护、精排引发的几十次回查、评测集的建设成本，都不出现在定价页上，却可能超过 API 账单本身。
• 高估 Embedding、恐慌存储。 全量向量化几元到几十元、百万向量存储每月几美元——为省这点钱反复折腾模型选型，性价比极低；预算应该投向生成侧。
• 用列表价算账。 Batch 半价、缓存一折、平台最低消费，同一负载用不同口径算出的账能差一倍；预算要按你实际能拿到的口径算。
• 「上下文够长就不用检索了」。 DeepMind 的系统研究结论是 RAG 显著更具成本效益，Elastic 的实测也显示不加过滤的全量投喂在价格上劣于 RAG——长上下文适合偶发的整篇理解，不适合高频问答。
• 把语义缓存当免费午餐。 命中率依赖查询分布，错误命中的质量代价远高于省下的调用费，阈值与灰度必须先行。
• 忽略起步价。 Pinecone Standard 每月最低 $50、Cohere 托管实例每月 $2500 起——小规模场景下「每月固定多少钱」比「每百万多少美元」更决定生死。

参考资料

• OpenAI API Pricing — Embedding、缓存输入与 Batch 折扣的官方口径，本文多数美元单价的出处。
• Voyage AI Pricing — 重排按 token 计费的完整公式，交叉编码器成本怎么算的活教材。
• Pinecone Pricing（成本理解）— 读取单位与写入单位的官方定义，检索费的算账基础。
• 阿里云百炼：知识库计费说明 — 中文侧向量与重排单价的官方参照。
• RAGPerf: An End-to-End Benchmarking Framework — 分阶段延迟与资源实测，「工程账」的量化证据。
• Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach — RAG 比长上下文更具成本效益的结构性论证。
• GPT Semantic Cache: Reducing LLM Costs and Latency — 语义缓存降本幅度的学术量化。
• How to Calculate the Total Cost of Your RAG-Based Solutions（Zilliz） — 一次性 Embedding 与持续存储费的算例示范。

本文为技术科普，所引价格均为撰写时点的公开口径，具体价格以各服务商官方页为准。