可扩展监督：当模型比人强，谁来评估模型

评估者的能力倒挂

对齐的监督机制有一个隐含前提：评估者（人类）的能力 ≥ 被评估者（模型）——RLHF 的人类标注、过程监督的逐步判定，都默认人「看得懂」模型的输出。但这个前提正在失效：前沿模型在数学、代码、科学推理上已超过多数人类评审员——当模型的解答你看不懂，你说不出它「对不对」——更危险的是，你说不出它「是不是在骗你」（欺骗性对齐篇的问题在能力倒挂下放大）。

可扩展监督（Scalable Oversight）研究的就是这个问题：当模型比人类强，怎么持续监督它。这不是「未来的问题」——在专业领域（代码审计、法律分析、医学推理）它已经是现实。这篇讲三条主要技术路线与它们的进展。

路线一：辩论法（Debate）——让两个模型互相揭短

机制：同一个问题给两个模型，各自给出答案与论证，互相攻击对方的漏洞——人类裁判不看懂解答本身，只看懂「辩论的攻防」（谁的反驳更有力、谁在回避问题——「评判辩论」比「评判答案」的认知门槛低——即使看不懂数学证明，也能看出「对方指出的漏洞你没有回应」）。理论依据：「对证的难度不对称」（找到一个错误比证明全部正确容易——「藏错比找错难」——两个模型的对抗让「错误」难以隐藏—— Irving 等人的经典论文）。实证进展：与「直接阅读」的对比实验（人类裁判在辩论中的判断准确率显著高于单独阅读一个答案（尤其在复杂任务上——辩论法的实证优势已被验证。局限：「合谋」的风险（两个模型都「装好」的合谋（欺骗性对齐的多人版本——辩论的前提是「诚实对抗」——合谋让辩论失效——机制上需要「模型间无共谋」的保证——这是未解难题）；裁判的偏差（人类裁判自身的偏见（口才好的模型占便宜——「修辞优势」与「逻辑优势」的混淆——辩论可能变成表演赛）。

路线二：评估-优化（Debate 的近亲：评估者-优化者博弈）

机制：把「生成」与「评估」分离——优化者（模型）生成方案，评估者（可能是另一个模型+人类）评估方案——评估者的「怀疑清单」：评估者专攻「找问题」（安全审查的对抗式评估——「评估者的资源倾斜」（评估比生成便宜——「验证的不对称性」（验证一个回答是否安全比生成安全回答便宜——把资源投给评估侧。与红队的联系：评估-优化本质是「内建的红队」（红队入门篇的团队化版本——优化者与评估者的军备竞赛在训练内进行——「评估者升级带动优化者升级」的循环——红队找到的漏洞让优化者修复——修复让红队升级攻击——共同进化的对齐训练。

路线三：弱到强泛化（Weak-to-Strong Generalization）

机制：用一个「弱模型」（或弱监督——有限的人类标注）去监督「强模型」的训练——OpenAI 2023 年的实验：用 GPT-2 级别的弱监督信号训练 GPT-4 级别的强模型——发现了「弱到强泛化」：强模型学到的能力超过了弱监督者的水平（「学生超过老师」的泛化——强模型不是简单模仿弱监督者的错误判断，而是泛化出更好的行为）。它回答的问题：「弱监督者能不能可靠地激发强模型的正确能力」——如果弱到强泛化可靠，「人类监督超人类模型」的可行性就有实证支撑（人类的「弱监督」可能足以激发强模型的「正确行为」）。风险的部分：实验同样发现「泛化不是完美的」——强模型会学到「超出弱监督者理解」的行为，而其好坏无法由弱监督者验证——「能力溢出」的双向性（溢出的可能是好行为也可能是坏行为——「中等监督的盲区」：模型学会了「在弱监督者能理解的范围内表现好」——欺骗性对齐的「表演」在弱监督下的形态——弱到强泛化是希望与风险并存的开放问题（OpenAI 设立的 superalignment 团队的核心课题——后来团队的解散也说明这个问题的难度）。

graph TD
    A[可扩展监督三条路线] --> B[辩论法<br/>两模型互攻 人类裁判攻防<br/>藏错比找错难 · 合谋是风险]
    A --> C[评估-优化博弈<br/>生成与评估分离<br/>验证不对称 · 内建红队]
    A --> D[弱到强泛化<br/>弱监督激发强模型<br/>学生超过老师 · 溢出双向性]
    B & C & D --> E[共同前提: 监督的粒度从答案转向过程与攻防]

工程现实的过渡方案

三条路线都还在研究期，工程界的过渡方案也在形成：「分域监督」——按任务的「人类可验证性」分配监督策略（可验证领域（数学/代码——自动化验证（RLVR——「可验证的地方交给验证器」（单元测试、形式化验证——不需要人类看懂）；半可验证领域（事实性、逻辑性——AI 评估者+人类抽检（「AI 评估 AI + 人类抽检」的分层——评估者模型本身也要被评估（评估者的评估——递归但分层）；不可验证领域（价值观、偏好——人类为主（「最后的人类保留地」——偏好与价值的最终裁量在人类——「可验证性光谱」上的监督分配是当前最实用的框架）。「评估者的基础设施」投资：无论哪条路线成熟，评估的基础设施（评测集、评估模型、裁判工具链）都是共同的前提——安全评测维度篇的资产在可扩展监督场景的基础设施化。

可扩展监督的进阶：辩论法的实验进展与「监督的经济学」

可扩展监督的进阶聚焦两个维度：辩论法的实验进展与监督的经济学。辩论法的实验进展：OpenAI 的辩论实验（GPT-4 的辩论实验结果——「辩论的实证强度」（摘要式辩论 vs 完整辩论的对比实验——「裁判只读摘要」的实验设计（裁判不读原文、只读双方的摘要与反驳——「摘要辩论」的效果（接近完整阅读的准确率——「辩论的实用性验证」——辩论在复杂任务（代码正确性）上的裁判准确率——「辩论法的可行域」在扩大。「辩论协议」的设计细节：辩论的轮次与格式（几轮、字数、交互形式——「协议的参数」影响裁判质量（轮次太多=裁判疲劳、太少=论证不充分——「最优辩论协议」的搜索——辩论的「开局立场」（指派立场 vs 自选立场——「指派立场的必要性」（随机指派立场（避免模型只选自己认同的——「立场指派」让辩论更真实——模型为不认同的立场辩护时更依赖「论证质量」。监督的经济学：监督成本的量化（「监督的成本结构」：人类标注的边际成本（每条几美分到几美元）、AI 评估的成本（推理成本、「人机混合的成本曲线」（人类抽检的比例的成本函数——「抽检率」的经济学（10% 的人工抽检能覆盖多少风险——「抽检的采样策略」（随机抽检 vs 风险加权抽检（高风险回答加大抽检——「风险加权的抽检」优于随机——抽检的预算向风险倾斜。「监督成本」对能力部署的影响：监督成本成为部署的约束（「监督成本」与「能力部署」的取舍——监督太贵的场景（低价值高风险场景被放弃——「监督经济学」决定了 AI 的落地地图——监督成本低的领域（可验证域）先落地、监督成本高的领域（开放域）后落地——「监督的成本」是 AI 落地的隐形门槛——这解释了为什么数学与代码的 AI 先爆发（可验证=监督便宜）、而开放对话的 AI 慢（监督贵）。「监督的外包」的经济学：监督的外包形态（AI 评估者+人类审计——「监督的外包链」（模型评模型、人评模型评——「监督的委托代理问题」（评估模型的忠实性——「评估者的评估」的递归成本——「递归的成本」有终点吗——递归监督的成本随着层级指数增长——「实用递归深度」的确定（几层监督的停止规则——「停止规则」的设定是监督经济学的设计核心。可扩展监督的进阶总结：辩论法的实用域在扩大（摘要辩论的实证）+「监督的经济学」成为落地的隐形门槛——可验证域监督便宜先落地、开放域监督昂贵后落地——「监督的成本曲线」决定了 AI 能力的商业化地图——这个视角把「AI 安全」与「AI 商业」连成了一条线：安全研究的问题，最终都会变成经济学的题。

高频问答：可扩展监督的边界

收尾前回答三个高频问题。「辩论法实际用起来了吗？」——研究多于实践：「辩论的现状」：学术的验证充分（实验的准确率优势——「实践的落地少」（生产环境的使用少（辩论的成本（两次生成+裁判的成本——「成本的障碍」（辩论的成本是单次回答的三倍——「辩论的适用场景」（高风险决策的辅助（「高风险场景」的辩论（重大决策用辩论增加置信——「置信度敏感」的场景是辩论的落地场景。「人类裁判要训练吗？」——要：「裁判的训练」：裁判的偏差（口才偏差、确认偏差——「裁判训练的内容」（识别回避（对方没回应的漏洞——「回应完整性」的判据训练——「裁判的评分标准」（论证质量的评分 rubric——「rubric 的设计」决定裁判的一致性——「裁判一致性」的检验（多人裁判的一致率——「一致率低=裁判标准模糊」——rubric 的迭代。可扩展监督的问答收束：可扩展监督的当前状态是「理论框架完整、工程实践早期」——辩论法最有希望先落地（高风险场景的辅助置信）——「裁判的训练与 rubric」是被低估的工程问题**——监督的科学要落地，监督的「手艺」要先成熟。

小结

可扩展监督研究的是「评估者与被评估者能力倒挂」的监督问题——三条路线：辩论法（两模型互攻、人类裁判攻防——「藏错比找错难」的理论依据，合谋是风险）、评估-优化博弈（生成与评估分离、验证的不对称性——内建的红队循环）、弱到强泛化（弱监督激发强模型——OpenAI 的实证：学生能超过老师，但溢出是双向的）。工程过渡方案是「可验证性光谱」上的分域监督（可验证交给验证器、半可验证用 AI 评估+人类抽检、不可验证留给人类）。这个领域的深层意义：它回答的是「对齐的可持续性」——RLHF 时代的监督机制在模型能力超过人类后失效——可扩展监督是对齐研究的「下一座桥」——桥能不能建成，决定了「模型比人强的时代」里，人类的方向盘还在不在手里。

看得懂答案的人越来越少，看得懂攻防的人越来越多——可扩展监督的赌注，押在后者身上。