一篇读懂 LLM 推理的路由策略：模型路由与成本优化

一个日调用千万级的 LLM 应用，账单里藏着一个人人皆知却很少动手的事实：大部分请求根本用不上旗舰模型。改错别字、格式转换、简单改写这类任务，8B 小模型的质量与旗舰几乎不可分，而单价差出一个数量级。模型路由（model routing）就是把「每个请求该用哪个模型」变成一个显式的决策问题：在延迟、成本、质量三者的约束下，让合适的请求走合适的模型。这条路线已经被工业界验证——斯坦福的 FrugalGPT 报告级联策略最多可省约 98% 成本而保持旗舰质量，LMSYS 的 RouteLLM 在保持约 95% GPT-4 质量的同时把成本砍到两成左右。本文拆解路由的形态、信号、失败模式与核算方法。

一、成本结构：为什么路由是必答题

价格梯度与请求难度分布

商业 API 的价格梯度非常陡：以 2025 年主流定价为参照，同一家厂商内旗舰与小模型每百万 token 的价差普遍在 10 到 20 倍之间，输入输出分别计价后，重上下文场景差距更大。另一边是请求难度的分布：多数产品的真实流量里，「简单请求」（短改写、分类、模板化回复）占七成上下，它们与「深度请求」（多步推理、长文分析）混在同一个入口里。两者相乘就是路由的价值公式：如果七成流量可以降级到十分之一价格的模型，总成本降到原来的 0.37 倍——这笔账不需要任何黑科技，只需要一个靠谱的「难度判断」。反过来说，不做路由的产品是在为简单请求付旗舰溢价，属于结构性浪费。

路由的三种形态

按决策机制分，路由有三种形态。形态一是级联（cascade）：先调便宜模型，校验不过再升级到贵模型，FrugalGPT 是代表作。形态二是训练 router：用历史数据训一个轻量分类器（通常是小 BERT 或 30M 级模型），从 query 特征直接预测「该走哪条路」，RouteLLM 是代表作。形态三是规则与语义路由：用长度、语言、任务类型规则或嵌入聚类把流量分类到固定模型池，简单直接，可解释性最强。三者不是互斥的：成熟系统通常规则兜底、router 主判、级联兜质量。

flowchart TD
    R["用户请求"] --> S["信号提取<br/>长度 / 语言 / 任务类型 / 嵌入 / 历史准确率"]
    S --> RU{"规则层：明确任务类型？"}
    RU -->|"分类 / 改写 / 抽取"| M1["小模型池<br/>8B 级，价差约 10-20 倍"]
    RU -->|"需要深度推理"| M3["旗舰模型池"]
    RU -->|"不确定"| RT{"Router 判难度"}
    RT -->|"简单（置信度高）"| M1
    RT -->|"难（置信度高）"| M3
    RT -->|"低置信 / 边界"| CA{"级联兜底"}
    CA -->|"小模型响应 + 校验通过"| M1
    CA -->|"校验失败 / 低分"| UP["升级旗舰重试"]
    M1 --> Q["质量监控分桶<br/>按路由决策统计失败率"]
    M3 --> Q
    UP --> Q
    Q --> FB["反馈回路：<br/>误路由样本回流 router 训练集"]

二、形态一：级联与 FrugalGPT

校验器是级联的心脏

FrugalGPT（Chen et al.，斯坦福，2023）的核心贡献不是「先便宜后昂贵」这个直觉，而是把「怎么判断便宜模型的答案够不够好」工程化了。它的答案是用一个打分器（可以让另一个 LLM 对答案打分，或用生成概率做信号）给每个回答评一个置信分，分数过线就采纳，不过线就把请求连同已生成的答案一起升级给下一个模型，级联链封顶。论文在真实问答数据上的结论：用 GPT-3.5 起步、仅对约一成请求升级到 GPT-4 的级联，成本降至纯 GPT-4 方案的极小部分（最优配置下节省可达约 98%），端到端质量反而略优于纯 GPT-4——升级路径过滤掉了旗舰偶尔的坏输出。级联的工程要点全在校验器上：校验器太松，降级形同虚设；太紧，大量请求空转一轮小模型再升级，延迟白付。经验做法是按任务类型分设阈值，并用线上反馈持续校准阈值——校验器的阈值是一个需要像 SLO 一样被持续运营的参数。

级联的隐性账单

级联省钱的另一面是延迟：每个升级请求都要先付一次小模型的往返延迟再走旗舰，尾部延迟（P99）被显著拉长。缓解手段有二：对延迟敏感的入口只允许单跳级联（小模型不行直接旗舰，不再中间加层）；把「小模型注定不行」的请求类型前移到规则层直接路由旗舰，减少无效的第一跳。核算级联的真实收益时要计入三笔账：小模型第一跳的 token 费、升级重试的重复输入费（旗舰要重新吃完整 prompt）、以及延迟对用户体验的折价。

三、形态二：RouteLLM 与训练式路由

用偏好对训一个难度分类器

RouteLLM（LMSYS，2024）把路由问题形式化为「强模型 vs 弱模型」的二选一，训练信号来自 Chatbot Arena 的人类偏好对：凡用户明确偏好 GPT-4 回答的 query 是「难」样本，偏好等价或弱模型胜出的 query 是「易」样本。在这个标注上训练轻量 router（基于 BERT 的分类器或矩阵分解式模型），推理时毫秒级给出路由决策。报告的数字：在 MT-Bench 类评测上，相对「全 GPT-4」基线，成本最高降到约两成，质量保持在 95% 左右；router 的校准质量直接决定这条曲线的斜率——边界请求路由错误的概率越低，省得越多、伤得越少。训练式路由相对级联的优势是单跳、低延迟；劣势是它只对「训练分布里的难度边界」可靠，新任务类型上线时需要回流数据重新校准。

信号工程：router 看什么

无论训练式还是规则式，可用信号有五类，按获取成本排序。请求元信息：输入长度、语言、是否含代码或表格——零成本，规则层的主力。任务类型：入口处的显式选择（用户选了「快速模式」）或分类器输出。嵌入特征：query 嵌入到「历史难度聚类」的归属，router 模型的标准输入。模型自评：让小模型先答再自评置信度，置信度作为难度信号——这是级联校验器与路由信号的合流点。历史表现：该 query 集群在近期的实际失败率，最强的信号但需要反馈回路的基建。实战建议从元信息加任务类型起步（这就能吃掉大部分红利），嵌入 router 是第二阶段，历史反馈回路是第三阶段——一步到位直接上学习式路由的团队，多数折在反馈回路的基建上。

四、失败模式与护栏

误路由的双重代价

路由的失败有两种，代价不同。漏路由（把难请求给了弱模型）：用户拿到一个「看起来流畅的次品」，最伤信任，因为弱模型的失败模式恰恰是「自信地错」。过度路由（把易请求给了旗舰）：只是多花钱，用户无感。这两种错误的代价不对称，所以阈值设计要偏向保守：宁可多走旗舰，不可漏难请求；具体做法是把「难请求被路由到弱模型」的比率当成一个硬 SLO 监控（比如不超过 2%），超线自动收紧阈值。识别「自信地错」靠抽样：对弱模型输出按比例抽检（人工或 judge），按路由决策分桶统计失败率——这个分桶报表是整个路由系统唯一的真相来源。

回退链与降级预案

路由系统本身会故障：router 服务挂了怎么办？答案必须是规则兜底——router 不可用时退回「按长度与任务类型的静态规则」，极端情况全量走旗舰（宁可贵不可错）。回退链要演练：把「router 超时 200ms 即降级」「API 供应商故障切换备用模型」写进预案并做故障注入。路由层还是做灰度与 A/B 的天然位置：新模型上线先在路由层按百分比放量，质量监控分桶对比后再全量——这个位置离决策最近、离用户最远，是 LLM 应用做发布的标准手术台。

从路由到成本治理的延伸

路由层站稳之后，它天然长成成本治理的中枢。第一层延伸是请求级预算：给不同入口配置单请求成本上限，估算超限时自动降级到小模型或截断上下文，把「单请求失控账单」（比如一个用户塞了五十万 token 的上下文）在入口处拦住。第二层延伸是按租户或按流量的配额路由：免费流量走小模型、付费 SLA 走旗舰，路由决策与商业等级绑定。第三层延伸是供应商仲裁：同一模型档位配置多家供应商，按实时价格、健康度与延迟择优——价格战周期里这一项就能贡献两位数百分比的账单降幅。三层延伸共用同一套基建：路由决策点、监控分桶与回退链，这也是先建路由层、后谈成本治理的顺序理由。

五、核算：一次真实的省钱演算

把账算一遍才好立项。设月调用量 1000 万次，平均输入 1500 token、输出 400 token。旗舰定价假设输入每百万 10 元、输出每百万 30 元；小模型输入 1 元、输出 3 元（约 10 倍价差）。全旗舰的成本：输入 1000 万 × 1500 / 1e6 × 10 = 15 万元，输出 1000 万 × 400 / 1e6 × 30 = 12 万元，合计 27 万元/月。引入路由后假设 70% 流量走小模型（简单请求 token 量按 80% 估）：旗舰部分输入 300 万 × 1500 / 1e6 × 10 = 4.5 万元、输出 300 万 × 400 / 1e6 × 30 = 3.6 万元；小模型部分输入 700 万 × 1200 / 1e6 × 1 = 8.4 千元、输出 700 万 × 320 / 1e6 × 3 = 6.7 千元，合计约 9.6 万元——月省 17.4 万元，降幅约 64%。再减去级联升级的重复调用（按 5% 请求升级、重复输入估算约 1 万元）与 router 基建摊销，仍是净省六成上下。这笔账解释了为什么路由层是 LLM 应用基础设施里投产比最高的一层。

小结

模型路由的要点可以收成四条。第一，它是结构性省钱而非技巧性省钱：简单请求占七成、价差十倍起，两者相乘就是六成以上的成本空间，FrugalGPT 与 RouteLLM 的论文数字（级联最多省约 98%、router 保 95% 质量省约 80% 成本）都是这条曲线上的取样点。第二，三种形态按基建成熟度阶梯推进：规则层先吃大头（长度、语言、任务类型），级联用校验器兜质量，训练式 router 等反馈回路建好再上。第三，误路由的代价不对称，「自信地错」伤的是信任，所以难度阈值要保守、误路由率要当 SLO 管、分桶失败率报表是唯一真相。第四，路由层同时是灰度发布与降级预案的天然挂载点，把它建成基础设施，后续每次模型更换、供应商切换、A/B 实验都复用同一层。一句话：把「用哪个模型」从一个隐式的全局假设变成显式的每请求决策，是 LLM 应用从 demo 走向运营的分水岭。