同一个问题「出差住宿标准是多少」,财务制度的现行原文和三年前某部门会议纪要里的转述,语义上都很像答案。交叉编码器会给两条都打出 0.9 上下的高分,因为它只衡量语义相关性;但在组织里只有一条有效,另一条是作废的历史。业务重排就是在模型分数之外架起的第二把尺子:它不判断「像不像答案」,它判断「该先听谁说」。模型不知道哪个部门说了算,这件事只能由业务规则来补充。这篇讲业务信号的类型学与叠加方式、规则与模型的边界,以及为什么业务重排必须当作治理工程来做。

为什么模型重排不够:它看不见组织
模型重排(交叉编码器一路,机制见本库《一篇读懂 Reranker》)是在网页搜索的相关性数据上训练出来的,它优化的目标是「这段文本与查询的语义匹配程度」。有四类对企业检索至关重要的信号,它从文本层面根本看不见。第一是来源权威:同一份事实,官方制度库的红头文件与某个人的随手笔记,在文本措辞上未必分得出高下,甚至笔记因为更口语化、更贴近问法而分数更高。第二是时效与版本:修订版与旧版措辞相似度极高,旧版若恰好关键词密度更高、行文更啰嗦,重排分数反而可能压过新版——这不是模型 bug,是它没有被赋予「版本」的概念。第三是组织亲和:用户是研发岗,研发 Wiki 里的答案对他通常更可用,但「谁在读」这个信息根本不在查询文本里。第四是纪律状态:被投诉过的事实错误、被标记待复核的文档,这些信息只存在于运营系统里。
这些信号都住在元数据与组织结构里,不住在文本里,所以无论把交叉编码器换得多贵,它们都不会凭空出现。也要划清两条边界:权限过滤决定「能不能看」,本库权限感知篇已经讲过;业务重排决定「都可见时该先看谁」,两者不互相替代。个性化排序(用户兴趣画像)看起来形似,但信号来源与治理方式完全不同——个性化跟着用户走,业务重排跟着组织走,本文只谈后者。
把一类真实事故走一遍就清楚了。某公司搜「产假天数」,库里同时存在三份候选:今年刚修订的 HR 制度原文、两年前的旧制度 PDF、以及一篇转述旧制度的部门通知。修订后的新文本为了精简,删掉了旧版里反复出现的「产假工资、生育津贴」等强调词;旧制度 PDF 措辞啰嗦、术语密度高,交叉编码器给出的分数反而是旧文档更高——它只是更像「一段讲产假的文章」。用户照着两年前作废的天数去请假,人事接到投诉,第一反应是「RAG 不准」,真正的病灶却是排序层没有「哪个版本说了算」的概念。这类事故在制度、价格、联系人三类内容上出现得最频繁,共同点是:新旧文本同时有效存在于库里,而语义模型天然无法在它们之间裁决。
一句话小结:模型重排的天花板是「文本像答案的程度」,权威、时效、亲和、纪律这四类组织信号必须由业务层显式补上。
业务信号的类型学:四类信号与叠加方式
四类信号对应四种不同的干预强度。来源权重是域级或系统级的静态表:官方制度库加权、部门 Wiki 轻加权、个人空间低权重甚至不进候选,表由运营维护,改动走评审。文档级配置是更直接的干预:运营在后台把某篇文档标记为该问题的权威答案(canonical),重排时直接置顶——它解决的正是「模型看不见组织」里最硬的那部分。部门亲和用用户属性乘文档受众标签:研发用户查到的研发文档加一点分,注意是轻加权而非硬过滤,跨部门查询是合法需求。处罚名单是被投诉、已确认事实错误、待复核的文档,临时降权或摘除,带有效期,到期自动恢复,防止「一次处罚终身服刑」。
def business_rerank(query, user, hits):
for h in hits:
h.final = h.model_score # 模型尺子打底
h.final += SOURCE_WEIGHT.get(h.source, 0.0) # 来源权重软叠加
h.final += dept_affinity(user, h) * 0.2 # 部门亲和轻加权
h.final += freshness_bonus(h) # 时效加成
if h.id in CANONICAL_MAP.get(query, set()):
h.final = max(h.final, CANONICAL_FLOOR) # 权威答案置顶
if h.id in PENALTY_LIST:
h.final = min(h.final, PENALTY_FLOOR) # 处罚硬封顶
hits.sort(key=lambda h: h.final, reverse=True)
audit_log(query, user.dept, [(h.id, round(h.final, 4)) for h in hits[:10]])
return hits[:5]
叠加方式有一个容易被忽略的坑:模型分数的绝对值不可比,同一模型对不同查询打出的分数带都不一样,直接加一个大权重等于用业务分淹掉语义分。稳妥做法是业务加分用有界增量(封顶的加成、封底的惩罚),而不是无界加权,让模型分始终是主尺、业务分只做偏移。另一种做法是先把模型分转成查询内的名次或分位,再与业务分加权——本质都是「以模型为主、业务为辅」的秩序。
信号的运营来源比算法本身更值得设计。来源权重表的初始值不该由工程师定,应该由各知识域的 owner 评审产生——财务说制度库权威、研发说 Wiki 里的设计文档权威,权重表就是一次组织确认,评审记录就是它的出处。置顶配置的入口要做在文档系统里而不是检索后台:文档作者申请、域 owner 审批、自动带有效期,流程走通了置顶才不会泛滥。处罚名单的来源是投诉工单与巡检记录,接进来的应该是「事实错误的确认结论」,不是用户的原始抱怨——前者是纪律,后者是噪音。一张配置表的骨架大致长这样:
source_weights:
policy_db: 0.3 # 官方制度库
dept_wiki: 0.1 # 部门知识库
personal_space: 0.0 # 个人空间不加分
canonical:
leave_days_question: doc-hr-2026-003
expires_at: 2027-06-30
penalty:
- doc_id: doc-faq-118
reason: 事实错误确认
until: 2026-12-01
一句话小结:四类信号干预强度递增,来源权重与亲和做软偏移,置顶与处罚做硬约束,叠加时守住「模型分为主、业务分为辅」。
规则与模型的边界:规则该退位的时候
业务规则的第一风险不是太少,是失控膨胀。今天置顶一篇、明天加一条处罚,半年后规则表几百行,检索系统退化成一份年久失修的人工索引——语义检索的全部优势被规则淹没。所以规则要有退出机制,出现以下信号就该退位:规则所依据的组织事实已变化(来源系统迁移、部门改名,规则还在给旧地址加权);规则与用户行为长期冲突(置顶文档的点击与采纳率持续低于被它压下去的文档);同类规则越积越多(同一问题已经有三条置顶,说明该去修语料而不是加规则)。规则冲突时按阶梯裁决:处罚摘除高于权威置顶,硬约束高于软加权,软加权高于模型分。阶梯本身写进配置文档,而不是散在代码分支里。
flowchart TD
A["混合检索候选 top-50"] --> B["模型重排:语义相关性打分"]
B --> C{"业务重排层"}
C -->|"处罚名单"| D["违规文档降权或摘除"]
C -->|"权威配置"| E["canonical 文档置顶"]
C -->|"来源权重与部门亲和"| F["分数有界偏移"]
D --> G["最终 top-5"]
E --> G
F --> G
| 信号 | 来源 | 典型处理 |
|---|---|---|
| 来源权重 | 运营静态配置表 | 有界软加权 |
| 权威答案 | 后台文档级标记 | 置顶到首位 |
| 部门亲和 | 用户与文档属性 | 轻加权不过滤 |
| 时效加成 | 文档发布与修订时间 | 小幅偏移 |
| 处罚名单 | 投诉与巡检记录 | 降权或摘除带期限 |
退位机制要有指标,不能靠感觉。置顶文档的采纳率(被展示后被点击或被引用进答案的比例)持续低于同查询未置顶文档的中位数,是规则有害的第一信号;申诉率(用户明确反馈答案不对且涉及置顶文档)是第二信号;规则覆盖率(置顶条目数占月活问题的比例)超过一成,说明运营在用置顶替代修语料。某企业知识库曾把两百多个高频问题全部置顶,半年后日志显示置顶文档的采纳率不足三成,多半置顶早已过期——回滚到只剩二十条真置顶后,整体满意度反而上升。规则表和代码一样会腐化,这些指标就是它的测试套件。
一句话小结:规则的价值在克制——用退出机制防膨胀,用明确阶梯防冲突,规则表该瘦不下来的那天,先修语料再谈排序。
可配置、可审计、可回滚
业务重排的第一属性不是准,是可信。它直接回答「为什么这条排第一」这种来自管理层、法务与用户的追问,所以每一条置顶、降权都要能给出理由:哪个规则、谁配置的、什么时候生效、依据什么。实现上三件事必须做到。规则进配置不进代码:权重表、置顶表、处罚表都是带版本的数据,改动有评审与生效记录,改代码发版的流程跟不上业务节奏。分数分解留痕:每条结果的最终分要能拆出模型分与各业务分项,出争议时回放即可归因,上面的代码里那行 audit_log 就是这个用途。可回滚可灰度:新规则先影子模式跑(只记日志不改排序),对比命中差异再放量;出问题一键回退到上一版规则集。另加一条治理纪律:规则表按季度清理,过期规则下线要像下线服务一样走流程。业务重排本质上不是算法问题,是组织知识的治理问题——规则表就是一本管理账本,账本乱,排序就乱。
可审计的价值用一个场景说明。法务质询「为什么用户拿到的答案是这份文件而不是那份」,有分数分解的系统十分钟内给出答案:模型分 0.82,来源加权加 0.3(制度库),部门亲和加 0.06,最终 1.18;对手文件模型分 0.84、无任何加权——每一步都有规则编号与配置版本可查,争议当天闭环。没有分解的系统只能说「模型认为它更相关」,法务对这个答案的合理追问是「模型的判断标准是什么」,然后就没了下文。影子模式同样有讲究:新规则跑影子流量时,要记录「影子排序与线上排序的命中差异清单」,差异条目人工过目后再放量——差异清单就是新规则的变更评审,跳过这一步等于不做评审直接上线。
一句话小结:业务重排要当治理工程做——规则配置化、分数可分解、变更可灰度可回滚,每一条干预都留得住追问。
落地节奏:三步建起业务重排
从零开始不必四类信号一起上。第一步只做来源权重:把知识源整理成五六类,让各域 owner 评审出一张权重表,一天上线,解决八成的「听错人」问题——多数企业的权威结构就是来源结构,这一步的性价比最高。第二步补文档级置顶:只对投诉与咨询最高频的二十来个问题配置权威答案,入口带审批与有效期,它处理的是权重表覆盖不了的个案。第三步接处罚名单与部门亲和:处罚名单从投诉工单的确认结论里自动同步,部门亲和先用最粗的标签(部门乘受众两类属性),跑一个月看日志再细化。每一步都配同一份评测集的回归与影子对比,三步走完通常一个季度,业务重排的骨架就有了。急着四类信号一次全上,反而分不清哪个信号在起作用、哪个在添乱——信号的上线节奏本身就是归因实验的设计。
一句话小结:来源权重先行、置顶管个案、处罚与亲和收尾,每步带回归,上线节奏即归因实验。
小结
模型重排优化的是语义相关性,但组织里「该先听谁说」由另一套信号决定:来源权威、版本时效、部门亲和与纪律状态,它们不住在文本里,模型永远看不见。业务重排用四类信号补位,软信号做有界偏移、硬信号做置顶与处罚,始终守住模型分为主、业务分为辅的秩序。规则要有退出机制与冲突阶梯,防止检索退化成失修的人工索引;实现上必须配置化、分数可分解、变更可灰度可回滚,每条干预都经得起「为什么排第一」的追问。两把尺子并用、各管各的边界,检索结果才既像答案,又像这个组织认可的答案。
读者留言
COMMENTS 暂无还没有留言,来说第一句?