检索评测 90 分,端到端评测只有 70 出头,排查两周发现问题不在检索——在生成参数的默认值。这类冤枉账在 RAG 团队里反复出现:检索侧精雕细琢,生成侧的温度、长度、上下文排布却沿用框架默认,参数与检索的系统性交互没人算账。生成是管线的最后一公里,前面所有环节的努力都要经过这一段的放大或衰减才到达用户;检索调好了,生成参数能把分全丢回去。本篇把三条主要影响线拆开算清楚。

温度的两难:检索型任务的低温纪律
温度控制的是采样随机性。对检索型事实问答,低温几乎是纪律:低温下模型更倾向于复述上下文里的内容,高温增加模型跳出上下文自由发挥的概率,幻觉率随温度上升是多项评测反复观察到的方向性结论;工程上事实问答普遍从 0 到 0.3 的区间起步(具体取值以自家评测为准),调高必须有评测数据背书。但低温不等于零温:温度为 0 时部分模型会陷入重复循环,或在措辞上表现出僵硬的模板腔;某些推理实现里零温也会因批处理与数值非确定性出现输出抖动——「零温必稳定」是个想当然的假设,值得用评测实测一次再决定要不要用。
温度还牵着一族采样参数:top-p、top-k 与它共同决定采样的自由度,多个旋钮同时开动,归因就乱了——评测纪律是一次只动一个旋钮、固定其余、跑同一评测集对比;工程上常见做法是只调温度、其余用推理框架默认,减少组合爆炸。另一个实用观察是温度对不同答案成分的影响不对称:数值、条款号这类硬事实受采样随机性的影响应当为零——它们本该来自上下文的忠实转述;措辞与组织方式受影响最大。如果发现调温之后连引用的条款号都变了,说明模型在「编」而非「转述」,问题已经超出温度的调节范围,要回头查上下文与提示。
另一面,不是所有 RAG 输出都该低温。基于检索内容的摘要改写、话术润色、文案生成,适度的温度能带来更自然的表达——这些任务的正确性锚在检索事实上,措辞的多样性是收益不是风险。温度应该跟着任务类型走:事实问答低温、创作改写中温,同一个系统里按任务路由不同的温度档,路由依据与风格配置一样可以挂在不同场景出口上。还有一个常被误读的事实要说透:温度再低也救不回检索错误。低温压的是「模型自己编」的概率,压不住「上下文本身就是错的」时的忠实复述——检索错的上下文配低温模型,产出的是错误答案的流畅转述,甚至因为语气笃定而更有欺骗性。温度管生成侧的纪律,不管检索侧的正确性,两条账不能混着算。
一句话小结:事实问答低温是纪律、创作改写适度升温,温度按任务路由,且它只压生成幻觉不救检索错误。
长度与截断:引用死在最后一行
max_tokens 是最容易被随手填小的参数,它的失效形态也最隐蔽:答案写到一半戛然而止,或者更常见的——正文完整、引用列表整体丢失。很多系统的引用挂在答案末尾,输出预算一紧,最先被牺牲的就是它们;用户看到一段看似严谨、实际无法溯源的答案,比看到报错更糟,因为它穿着学术范的外衣。截断还有一层间接后果:模型为了在预算内说完,会压缩论证、跳过限定条件,答案「看起来完整」,适用边界被悄悄丢了——这类截断不触发任何报错,只有对照评测集才能发现答案丢了前提。
长度护栏要做成显式逻辑而不是祈祷。基本结构是三道闸:第一道,输出前让提示词里的长度约束与参数预算一致——提示词说「不超过三句」而输出空间给到两千 token,模型会自己找事做;反过来提示词要求长文、参数给三百 token,是另一方向的错配。第二道,输出后检查返回的完成原因,命中长度截断就触发处理而不是照常展示。第三道,处理方式按场景定:或加预算重试,或退化为「答案加截断标记」,绝不能让半截答案无声上线。
type GenResult = {
text: string;
finishReason: string;
citations: string[];
budgetTokens: number; // 本次请求的输出预算
};
async function guardLength(
ask: (budget: number) => Promise<GenResult>,
): Promise<GenResult> {
const first = await ask(DEFAULT_BUDGET);
if (first.finishReason !== "length") {
return first; // 正常完成,直接放行
}
if (first.citations.length === 0) {
return ask(first.budgetTokens + 512); // 引用疑似被截断,加预算重试
}
return {
...first,
text: first.text + "(回复因长度限制被截断,可继续追问细节)",
};
}
排版也能给长度护栏上保险。引用集中在答案末尾的排版对截断最脆弱——预算一紧整块消失;把引用随句挂载(每条断言后紧跟来源标记)的排版,即使尾部被截,前面的引用仍在,溯源能力是部分保留而非清零。流式输出场景还要多一道考虑:输出预算不足时,截断发生在流式推送的半途,前端拿到的既不是完整答案也不是明确报错——完成原因信号必须在流式收尾时一并下传,前端据此决定是否追加提示,这条与流式体验工程的衔接细节,是长度护栏在流式场景的延长线。
还有一个反向的坑:想用小 max_tokens 逼模型精炼。输入端塞了五段上下文,输出端只给两百 token,模型不会因此变聪明,只会因此变残缺——精炼要在提示词里要求、在少样本里示范,不是在参数里克扣。长度既是体验参数也是正确性参数,两重身份都别只顾一头。
一句话小结:长度护栏三道闸——预算一致、检查完成原因、截断显式处理;引用被砍是最贵的一种截断。
上下文挤占:长上下文稀释指令
上下文不是免费的容器,塞得越满,模型对每一段的注意力越薄。两个方向性结论值得每个 RAG 工程师记牢(截至 2026-11 的多项研究结论一致):其一,指令遵循能力随上下文变长而下降,系统提示里写好的规矩,在几万字上下文的挤压下会被模型悄悄忽略;其二,相关信息在上下文中的位置影响利用率——开头与结尾的内容利用得较好,中部内容最容易被忽略,即「迷失在中部」效应。这两个效应对长上下文窗口的模型同样存在,只是程度减轻,没有消失,而且随模型版本变化,不能拿老结论套新模型。
落到工程上是两条排布纪律。第一,上下文做减法优先于做加法:塞十段「以防万一」的检索结果,换来的是每段利用率的下降与输入成本的上涨,精选五段比堆十段更可能给出好答案——这条结论与成本侧互相印证,上下文越长越贵也越稀释。第二,排版顺序显式化:把任务指令放在开头,并在结尾重申关键约束(引用要求、拒答条件),检索内容置于中部;对必须被引用的关键文档,靠前或靠后放置而不是埋在中段。这些排布规则要在自家评测集上验证——不同模型对位置的敏感度不同,抄来的「最佳排布」未必适配你的模型,位置敏感度本身值得进评测记录。
多轮对话是挤占的第三个来源。每轮请求都把历史对话完整带上,指令被推到越来越远的过去,十轮之后系统提示在上下文里已是一条细流——指令稀释随轮次加深。对策是历史管理:把与当前问题无关的历史压缩或裁剪,把关键约束在每轮提示中重新注入(约束重申比保留全部历史便宜得多),超长会话考虑阶段性开新会话并把状态摘要带过去。历史不是越多越好,它是上下文预算里最贵的占用项之一,因为它同时推高成本与稀释度两头。
挤占还有一个与检索联动的形态:rerank 后保留的候选越多、每个候选切得越长,挤占越严重。生成参数与检索配置在此汇合——「检索 top-k 取多少」的答案不在检索侧,在生成侧:top-k 是上下文挤占的输入变量,候选数的最优值由生成侧的承受力反推,联合调优才有意义。
一句话小结:注意力是稀缺预算,减法优先、排布显式化,top-k 的最优值由生成侧承受力决定。
参数与检索的联合回归
三条影响线汇成一张矩阵:温度决定生成纪律,长度决定答案完整性,上下文排布决定信息利用率,三者都与检索配置交互。这导出本篇的方法论结论:生成参数不允许单独调。改了 rerank 阈值、换了上下文模板、调整 top-k,端到端评测必须连同生成参数一起跑;反过来,调温度这种「纯生成侧」的动作,也要在真实检索配置下评测——在干净检索结果上调出的参数,到了带噪上下文里可能是另一副行为,带噪上下文会放大高温的幻觉倾向。
flowchart LR
R["检索配置:top-k、rerank、切分"] --> C["上下文组装:候选数与排布"]
C --> X["上下文挤占:指令稀释与中部迷失"]
T["温度档位"] --> H["幻觉率与措辞纪律"]
L["长度预算"] --> D["截断与引用丢失"]
X --> E["端到端质量"]
H --> E
D --> E
E --> V["联合回归:任一侧变更全量复测"]
执行上有三条细节。其一,参数档案按场景维护:事实问答、摘要、改写各一份参数档案,进版本管理,变更走评审——参数是配置不是代码里的魔法数。其二,生产侧信号回流:线上监控答案长度分布、截断率、引用覆盖率,这些是联合回归测不到的长期漂移的报警器——评测集上的参数组合,在真实流量分布偏移后可能悄悄失效。其三,回归要覆盖参数网格的交互项:重点测「高温配噪上下文」「长候选配小输出预算」这类组合,单参数扫描发现不了交互失效。
| 参数 | 推荐取向 | 典型失效形态 | 与检索的交互 |
|---|---|---|---|
| 温度 | 事实问答低温、改写中温 | 高温幻觉、零温复读 | 带噪上下文放大幻觉 |
| 长度预算 | 与提示约束一致、留引用余量 | 引用丢失、边界条件被压 | 候选越多预算需求越大 |
| top-k | 由生成侧承受力反推 | 堆料稀释指令 | 挤占的直接输入变量 |
| 排布 | 指令首尾、内容居中 | 中部关键信息被忽略 | 与切分长度联合决定 |
一句话小结:参数矩阵的每个格子都连着检索配置,变更必须联合回归,生产信号负责捕捉回归之间的漂移。
小结
生成参数是 RAG 的最后一公里,也是账最糊的一公里。温度:事实问答低温起步、创作改写适度升温、按任务路由档位,低温只压生成幻觉不救检索错误,带噪上下文还会放大高温的风险;长度:三道闸护栏——预算一致、检查完成原因、截断显式处理,引用死在最后一行是最贵的失效形态;上下文挤占:注意力是稀缺预算,减法优先、指令首尾排布、top-k 由生成侧反推。方法论一句话:生成参数与检索配置必须联合回归,任何一侧的变更都在改变另一侧的行为,参数进档案管理,生产信号补评测的空档。落地顺序是先把参数从代码里散落的默认值收进按场景的档案,再建联合回归,最后接生产信号——顺序反了,回归就没有稳定的基线。单独调参是半个工程,半个工程给出的是一半的分数。
读者留言
COMMENTS 暂无还没有留言,来说第一句?