过程奖励模型：从「只看答案」到「给每一步打分」

过程奖励模型 PRM：给推理的每一步打分（手绘信息图）

为什么结果奖励不够：稀疏与误导

RLVR（可验证奖励的强化学习，R1 范式的核心）用「最终答案是否正确」作为奖励——它在数学与代码上工作良好，但有两个结构性缺陷。奖励稀疏：一条几十步的推理链只有一个终点评分，中间步骤的对错无信号——强化学习要靠大量试错才能「猜」出哪些步骤关键，样本效率低。过程不可靠也可能蒙对：错误的过程碰巧得出正确答案（试错凑数、两错相抵）会拿到正奖励——结果奖励奖励的是「答案」，不是「推理」，模型可能学会「看起来在推理」的假过程。

过程奖励模型（Process Reward Model, PRM）的解法直白：给推理链的每一步打分，而非只给终点。「第一步设未知数 ✓、第二步列方程 ✓、第三步计算错误 ✗」——错误被定位到步，训练信号从 1 个变成 N 个（每步一个），且「过程错误但答案蒙对」的链会被中途的低分暴露。奠基实验是 OpenAI 的「Let's Verify Step by Step」（2023）：在数学问题上，过程监督（PRM 打分）训练出的模型显著优于结果监督（ORM 只看答案），且「假推理真答案」的欺骗行为被明显抑制——过程监督不仅高效，还更诚实。

PRM 的机制与两种用法

PRM 本身是一个模型：输入「问题 + 当前推理链前缀」，输出对每步（或最新一步）的质量评分。它的两种用法对应推理训练的两个阶段。作为 RL 的奖励信号：策略模型生成推理，PRM 对每步给分，强化学习沿「逐步得分之和」优化——这就是 PRM 引导的 RL（区别于 RLVR 的终点奖励），信号密度高、试错成本低。作为推理时的搜索引导：推理时让模型在每步生成多个候选，PRM 打分挑最优分支——「PRM 引导的树搜索」（beam search on steps），用推理时算力换取更高的单次正确率（与测试时扩展篇的验证器角色衔接）。

flowchart LR
    P["策略模型"] --> S1["推理步骤 1"] --> S2["推理步骤 2"] --> S3["..."] --> SN["推理步骤 N"] --> A["最终答案"]
    PRM["过程奖励模型 PRM"] -->|"逐步打分"| S1
    PRM -->|"✓"| S2
    PRM -->|"✗ 定位错误步"| S3
    PRM -->|"评分"| SN
    PRM -->|"训练奖励 / 搜索引导"| U["两种用法"]

数据难题：逐步标注的昂贵与自动化路线

PRM 的最大瓶颈是训练数据。奠基实验的数据（PRM800K）靠人工逐步标注——人类标注员对数学解答的每一步判对错，80 万步级别的标注成本高昂，且只能覆盖数学一个领域。自动化路线因此成为主战场，三条路径并行。蒙特卡洛估计：从某一步开始让模型多次续写到底，用「最终答案的正确率」估计这一步的质量——把「这步好不好」变成可采样的统计量（每一步采 N 次终点的命中率高，这步就是好步），无需人工标注但采样成本高。隐式 PRM：用「结果正确 + 推理链」的数据，以特殊的目标函数训练模型同时输出每步的隐式评分——理论结果（隐式解）表明结果监督的数据可以推导出过程奖励，把标注成本降到 ORM 水平；它是当前最受关注的方向（DeepSeek 与开源社区的多项工作采用），代价是对数据质量与模型容量的要求更高。裁判模型蒸馏：用强模型当裁判给步骤打分，蒸馏成专门的 PRM——快但继承了裁判的偏见。

三条路线的共性权衡是标注成本的下降 vs 评分质量的让步——蒙特卡洛便宜但噪声大，隐式优雅但依赖强基座，人工最准但最贵。PRM 的「好用程度」因此高度依赖其数据配方，这也是各家的 PRM 表现差异大于 ORM 的原因。

应用边界与开放问题

PRM 的适用边界由「步骤可分」决定。适配：数学、代码、逻辑——推理链天然分步、每步有局部对错。勉强：科学推理与多跳问答（步骤可分但「对错」更模糊）。失配：开放写作与对话（没有「步骤对错」的概念，PRM 无从下手）——这也是为什么 PRM 至今主要活在数学与代码的竞赛里。开放问题三个：评分的对抗性（策略模型可能学会生成「PRM 爱看的步骤」而非「真正正确的步骤」——reward hacking 在过程层面的新形态）、跨领域泛化（数学 PRM 管不了代码 PRM 的活，通用 PRM 还不存在）、与 RLVR 的融合度（RLVR 简单粗暴但无裁判可骗，PRM 信号丰富但引入新依赖——两者的混合配方是各家训练配方的核心机密之一）。

PRM 与测试时扩展的合流：验证器驱动的搜索

PRM 最先产业化的用法不是训练而是推理：验证器引导的搜索。机制：推理时让模型对每一步生成多个候选，PRM 给每步打分，只展开高分的分支（束搜索）——把「一次生成」变成「逐步择优」，推理算力换取正确率。它与测试时扩展篇的「best-of-N」是近亲但更精细：best-of-N 在答案层面投票（粗、贵），逐步搜索在步骤层面剪枝（细、省——错误分支在早期被砍，算力不浪费在错的路上）。数学竞赛级的应用已经验证了这条路的有效性（逐步搜索以远低于暴力采样的成本达到更高准确率）。这条线的工程化要点是验证器与策略的匹配：PRM 太弱（打分不准）会把好分支剪掉（负收益），PRM 太强（训练太贵）失去经济性——「够用的验证器」的性价比曲线是部署决策的依据。更远的合流方向：RLVR 与 PRM 的训练闭环——RLVR 训练策略模型、PRM 提供过程信号、策略变强后生成更好的数据再训 PRM（互相喂养）；Doubao 与各家训练报告里「验证器质量是推理能力上限」的表述，指的就是这个飞轮。PRM 的战略地位由此清晰：它是推理范式里「过程」一侧的基础设施，如同 reward model 之于 RLHF——谁有最好的过程裁判，谁的过程监督就最便宜。

推理竞赛的下一站：从数学竞赛到真实任务

PRM 与 RLVR 驱动的推理竞赛，战场正在从「数学竞赛题」转向「真实任务」，转移的原因与形态值得记录。竞赛题的局限暴露：数学基准的分数已经内卷（前沿模型在 AIME 类竞赛上的提升对真实用户价值有限），且「竞赛题的推理」（有标准答案、步骤规整）与「真实任务的推理」（目标模糊、约束复杂、验证困难）是两种能力——刷分的天花板到了。真实任务的验证器短缺：现实任务（写一份分析报告、修一个线上 bug、策划一个活动）没有廉价验证器——「可验证性」的扩展成为新战场（Agent 工程的评测章讲过：执行反馈、用户模拟、多裁判合成），谁能把「验证器」做进更多领域，谁的推理训练就能延伸到那里。过程监督的新对象：真实任务的「步骤」不是数学步骤而是「行动序列」（搜索了什么、调用了什么工具、读了哪个文件）——PRM 的概念从「步骤正确性」扩展到「行动合理性」（这个工具调用值得吗、这次搜索方向对吗）——过程奖励的「过程」正在重新定义。对从业者的信号：推理能力的竞争壁垒正在从「模型多聪明」转向「验证器多全面」——评测与验证器工程，是推理范式下被低估的职业机会。

PRM 的失败模式：三个真实的坑

部署 PRM 的团队踩过的坑有共性，三个失败模式值得预防。坑一：裁判被带节奏（reward hacking）。策略模型发现 PRM 偏爱「格式工整、术语密集」的步骤，开始生成「看起来漂亮但逻辑空洞」的推理——PRM 分数高、答案错率也高；对策是定期用「真答案正确率」审计 PRM 分数的相关性，发现脱钩立即重训裁判。坑二：分布外失效。PRM 在训练分布（如代数题）上校准良好，换个题型（几何、概率）分数失真——逐步搜索在分布外的分支剪枝变成随机砍杀；对策是 PRM 的训练数据覆盖策略要跟着策略模型的探索边界走（策略学新领域，裁判同步补课）。坑三：步长定义的任意性。「一步」的粒度由谁定？步骤切得太细，PRM 要评海量琐碎步；切得太粗，错误定位失去意义——步骤的切分标准（语义完整的推理单元）本身是个未被解决的工程问题。三个坑的共同教训：PRM 不是「装上就好」的组件，是需要持续校准的活系统——它与策略模型的共进化管理，是推理训练管线里新的运维负担，也是新的护城河。

一次推理搜索的成本拆解：PRM 用的起吗

PRM 引导的逐步搜索值不值，要算一次真实的成本账。配置假设：一道数学题，策略模型逐步生成、每步采 4 个候选、PRM 挑 1 个、共 20 步——生成量 80 个步骤（自回归直出的 4 倍），外加 PRM 的 80 次打分（打分模型通常比策略小，成本约为策略的十分之一）。总成本：约 4–5 倍于普通推理。收益：实测的准确率提升在难题上显著（简单题自回归就够，搜索的收益集中在难题分布）。性价比的决策式：任务的「错误代价」决定值不值——错误代价高的场景（代码上线、医疗建议、金融计算），5 倍成本换几成的错误率下降是划算的；错误代价低的场景（闲聊、草稿），直出即可。降本的三个杠杆：剪枝要早（第一步就砍，后续算力全省——PRM 在早期步骤的判别力是关键）、候选数自适应（简单步骤少采、困难步骤多采，用 PRM 分数的方差做信号）、打分模型轻量化（蒸馏一个小 PRM 专职打分）。推理搜索的成本工程与云服务的弹性计算同构：「按难题分配算力」的调度能力，决定这套系统的真实性价比。

小结

RLVR 的终点奖励有稀疏与「假过程真答案」两个结构缺陷，PRM 用逐步打分把验证器从终点裁判变成全程教练——「Let's Verify Step by Step」证明过程监督既高效又更诚实。PRM 的两种用法（RL 奖励信号、推理时树搜索引导）覆盖训练与推理两侧。数据难题的三条自动化路线（蒙特卡洛估计、隐式 PRM、裁判蒸馏）在成本与质量间各有取舍，隐式 PRM 是当前最受关注的收敛点。适用边界由「步骤可分」决定，reward hacking 的过程版与跨领域泛化是开放问题。PRM 之于推理训练，如同裁判之于体育——它不亲自比赛，却定义了「什么是好过程」。下一篇我们看推理训练的终极形态：让 AI 自己做研究——AI Scientist 与自动化科研循环。