科学基准、数据污染与外部有效性:答对题不等于做出发现

结论先行:基准分数是证据的一部分,不是科学能力的全集

模型在标准化基准上答对问题,说明它在某种任务表征和评分规则下表现良好;这不等于它能提出重要假设、设计可靠实验、处理异常数据并独立确认发现。SciBench 评估大学水平的开放式科学问题,GPQA 考察研究生级别的专家撰写问答,PaperBench 则让智能体从头复现近期机器学习论文。三种基准任务差异很大,不能用同一分数概括“模型是否会科研”。

基准本身也有生命周期风险:题目或答案可能进入模型训练数据,提示词策略可以过拟合公开评测,模型版本与评分器不断变化,数据集的选择范围又限制了外部有效性。评测要报告样本来源、拆分方式、污染检查、模型和工具设置、评分误差以及与真实工作流的关系。若这些条件不清楚,分数的解释范围就必须收窄。

三类基准在测什么

SciBench 以大学课程问题为对象,包含数学、物理与化学等内容;论文的主数据集包括从教材整理的开放题,另有课程考试题集合。题目强调数值解答和学科问题解决,部分题含图示。论文对多个提示方式、工具辅助与多模态设定进行比较,并分析错误类型。它适合研究模型在教材问题上的推理、计算与工具使用,不直接测试生成新科学假设或完成真实实验。

GPQA 的目标是构造高难度、需要专业知识的科学多选题。研究者邀请领域专家撰写并由其他专家验证,再比较领域专家、可上网的非专家与语言模型表现。主 GPQA 包含 448 题,Extended 与 Diamond 子集使用不同筛选方式和题量。论文的设计动机包括测试专家监督的困难;它并未证明这些题在任何模型训练语料中绝对不存在,也不是直接对科研代理完整工作能力的评测。

PaperBench 把任务推进到科研复现过程:智能体尝试从头复现 20 篇 ICML 2024 Spotlight 与 Oral 论文,评估代码建设、执行和结果匹配等分解任务,作者参与设计了 8,316 项可评分子任务的 rubric。论文报告模型整体分数仍有限,并设置与人类研究者的子集比较。它比答题测试更贴近实验性工作,却仍聚焦机器学习论文的选定样本、规定的评分标准和给定计算环境,不涵盖实验室化学、长期研究计划或所有学科。

基准 主要任务 能提供的证据 不能直接证明
SciBench 教材与课程科学问题 学科题目解答、计算和提示/工具影响 能提出或实验验证新发现
GPQA 专家编写的高难度多选题 专家与非专家、模型在固定题集上的比较 在所有知识领域都具备专家能力
PaperBench 从头复现选定研究论文 代理完成代码与结果复现工作的程度 独立开展开放式科研的全面能力

评分规则会影响结论

SciBench 多数教材题以数值答案为主,作者报告其评分采用参考答案及容差比较,并对错误进行类别分析;数值评分容易自动化,但对证明、单位、推理过程和等价表达的评价有限。一个答案数值正确,可能来自合理推导,也可能来自偶然猜测或外部工具;如果研究问题关注科学推理过程,就要有额外过程性评估。

GPQA 使用多选题,评分具有清晰的正确与错误边界,但被迫选择一个选项不等于开放式解释能力。题目难度、干扰项质量、专家审阅和题库抽样都会影响结果。论文指出专家验证与非专家网络搜索表现有差距,并将“难以被 Google 解答”作为目标条件之一;这应理解为特定受试者与实验条件下的比较,而不是题目永远不可检索。对于有选择题经验的模型,提示方式、拒答能力与猜测策略也会影响得分。

PaperBench 的 rubric 把复杂复现任务拆成许多可评分节点,能细粒度地展示工作流哪里失败。但自动裁判也可能误判文件、代码结构或实验结果的等价性。作者为其评分器另设 judge 评估,仍承认 LLM 裁判存在误差与非确定性。人类比较只覆盖选定论文和任务子集,模型/人类的时间预算、工具可用性与评判方式是否完全对称,也需要阅读具体方法,而不能从单一均值推到普遍结论。

评测指标最好包括总分之外的分任务得分、重复运行方差、置信区间、无效输出率、资源成本和失败类型。对于基于工具的任务,还应记录工具调用成功、代码执行成功、结果匹配成功,而不是把整个链条压成一个数。若模型使用联网搜索、代码执行器或先验知识库,评价应注明这些工具以及内容的时间点。

数据污染:隐藏测试并不自动解决问题

数据污染指评测样例或其近似内容出现在模型训练数据、微调数据或检索语料中。最严重的情况是模型训练中看到了测试题与答案,之后又在同一测试集上被评估,分数就不能被简单解释成泛化能力。污染也有不同程度:可能是原题、近似改写、公开解答、题目引用或检索时获取到题面。测量困难,尤其对闭源模型,训练数据覆盖范围不可见。

Sainz 等人的 EMNLP 2023 立场论文提出应对不同程度的污染进行检测与报告,并指出当前污染程度总体上难以确认。作者倡议开发自动或半自动检测方式,及时标注受影响的论文。该文是对评测实践的警示,不提供一个适用于所有模型的确定污染率。对公开教材或论文复现任务而言,题面、代码、解答与评分标准都可能在线存在;即使测试集没有显式出现在微调数据中,也无法仅凭模型高分或低分断定污染。

常见缓解方法包括时间切分、私有题集、动态生成新题、扰动题面、对照有无检索工具的运行以及对公开题目的近似匹配检查。但这些措施不保证彻底无污染:动态问题可能仍落在熟悉模板内,私有数据也可能在评测后泄露,语义改写的检测容易误报或漏报。最好把污染审计作为持续工作,并在报告中描述方法和未覆盖部分,而不是贴一个“无污染”标签。

外部有效性:题集之外的世界更复杂

任何 benchmark 都是从潜在任务总体中抽样。SciBench 的教材与课程问题不能代表整个学科的研究实践;GPQA 的专家题覆盖有限领域与题型;PaperBench 从 ICML 会议论文中挑选有限样本,且以可复现为主。它们能够识别模型能力缺口,但外推到药物发现、现场观测、社会科学或实验室合成时,必须有新的验证证据。

科学任务还需要面对开放世界的未知与不确定性。论文中的问题有标准答案,真实研究的目标可能在过程中修改;实验失败会迫使研究者重新设计装置;测量值受仪器校准与样本制备影响;研究伦理、经费、安全和协作决定也可能改变方案。基准通常控制这些因素以便评分,但相应地牺牲了部分现实复杂性。若要用模型做高风险科学决策,应在目标领域建设任务特定的、具有专家复核的外部验证。

基准分数也有时效性。模型更新后旧成绩不能代表新版本;测试数据公开一段时间后,模型训练可能会间接接触题目;工具链升级也会改变结果。报告必须标明运行日期、模型确切 ID、提示模板、工具、温度参数、系统指令、评估代码版本和数据集切分。长期使用时应保留历史版本,维护可比较的评测轨迹。

从答题到科研代理:建立分层评测

更有解释力的评测可以分层:第一层测事实与教材问题;第二层测试开放式、带来源的推理和计算;第三层让模型复现已发布结果并提供完整环境;第四层评估提出可证伪假设、设计区分假设的实验;第五层用独立实验或新数据确认结果。每层的证据强度不同,越向真实发现推进,成本越高,也越需要安全、伦理和领域专业监督。

对代理系统,除准确率外还应测长期规划、工具调用、失败恢复、数据完整性、停止判断与人类监督成本。一个模型能生成可运行代码,却未必能解释为什么代码验证了假设;一个代理也可能在计算资源耗尽后给出看似完整但实际未收敛的结论。评测数据应保存日志和中间产物,必要时由盲审专家检查方法与结果。

评测层级 例子 推荐证据
固定题目解答 SciBench、GPQA 多次运行、逐类错误、污染审计
工程复现 PaperBench 独立环境、可执行产物、裁判一致性
研究方案 新假设与实验计划 专家盲评、可证伪性与风险审查
真实发现 新数据/实验验证 独立复现、同行审查、完整失败记录

科学基准并非无用,恰恰是比较系统能力和观察进步的必要工具。关键是把它的设计目标与证据强度说清:答题能力、研究生级知识、论文复现和真实发现各有不同的定义、时间尺度与验证条件。把基准成绩当成某种能力的有限样本证据,既避免低估系统在特定任务上的进步,也避免把排行榜误读成科学家替代证明。

参考资料

← 返回资讯列表

读者留言

COMMENTS 暂无
仅本站原创文章开放留言 · 请勿留下手机号、邮箱等个人信息

还没有留言,来说第一句?