搜索:基准污染

共命中 50 条(服务端检索)
科学基准、数据污染与外部有效性:答对题不等于做出发现
SciBench、GPQA 和 PaperBench 分别评测大学科学题、研究生级科学问答与论文复现代理任务。它们能揭示特定设置下的能力与失败模式,却不能直接证明模型可独立完成科学发现。本文比较任务目标、评分方法和污染风险,解释基准分数的有效性边界,并给出更接近真实研究的分层评测思路。
研究前沿 精选 · 原创 · 昨天 阅读 4·访客 4
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界 精选 · 原创 · 10-8 阅读 857·访客 844
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体 精选 · 原创 · 3天前 阅读 25·访客 25
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿 精选 · 原创 · 10-10 阅读 940·访客 894
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型 精选 · 原创 · 10-7 阅读 640·访客 607
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型 精选 · 原创 · 11-9 阅读 71·访客 71
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 10-8 阅读 630·访客 584
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归测试的第三方参照,业务效果只认自建评测集。
后端技术 精选 · 原创 · 3天前 阅读 20·访客 20
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、测试集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿 精选 · 原创 · 5天前 阅读 28·访客 28
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿 量子位 · 11-14 阅读 33·访客 33
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目 精选 · Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22 阅读 327·访客 315
谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA(Multimodal Knowledge Agent),用于评估…
智能体 IT之家 · 11-11 阅读 36·访客 36
Einsia AI 发布行业首个多智能体编排基准 WorkflowArena:145 项长程任务考验智能体协作
Einsia AI 旗下 Navers Lab 发布行业首个多智能体编排基准 WorkflowArena,包含 145 项长程任务,结果显示当前大模型在多智能体协作编排上仍有很大提升空间。
智能体 凤凰网科技 · 11-12 阅读 36·访客 36
问止中医开源中医 AI 评测基准 TCMQA:3.8 万题附执业中医师参考基线
问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA,论文登上 arXiv 并全量开源,为中医 AI 提供行业中立标尺。
研究前沿 深圳新闻网 · 10-22 阅读 58·访客 57
晶体图网络与材料基准:从 CGCNN、MEGNet 到 Matbench
晶体图神经网络把原子、近邻与周期结构变成可学习表示,CGCNN、MEGNet 与 ALIGNN 分别展现不同的结构编码思路。论文上的误差不能直接比较,除非数据、切分、目标与指标一致。本文梳理三种架构,并用 13 项任务的 Matbench 讨论基准能回答什么、不能回答什么。
研究前沿 精选 · 原创 · 昨天 阅读 13·访客 13
智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现
安全评测回答一个问题:多少人多少机器试图攻破它,它能撑多久。本篇盘点智能体多出的攻击面——工具滥用、数据外传与成本攻击,对比人工、模糊与模型攻击模型三种红队形态,梳理越狱基准、权限沙箱与披露流程三件基建,并观察红队服务商业化趋势。
智能体 精选 · 原创 · 3天前 阅读 27·访客 27
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 64·访客 64
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 58·访客 58
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(SWE-bench、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体 精选 · 原创 · 11-3 阅读 70·访客 69
Google 开源 RRSI:让智能体在冻结 LLM 上递归自改进 harness,同时防止基准过拟合
Google 联合多校开源 RRSI 框架,在冻结 LLM 前提下自动进化智能体 harness,并用正则化抑制基准过拟合,8 项基准最高提升 14.1 分。
研究前沿 arXiv · 10-1 阅读 181·访客 178
UltraText Bench:面向图像生成中视觉文本渲染的双语综合评测基准
论文提出UltraText Bench,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 41·访客 41
RuleTrek:复杂场景下的智能体规则推理基准
该论文提出跨领域基准 RuleTrek,通过结构化规则图与增量组合子场景的构建流程,评估智能体在信息分散于多文件场景中的规则识别与应用能力。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 43·访客 43
CLASHarness:通过可控可验证的生成流程对多智能体冲突进行基准测试
提出 CLASHarness 框架,用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力,弥补现有基准多假设协作一致环境的不足。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 37·访客 37
ProbabilityBench:提供精确真实不确定度的模型评估与校准基准
研究者提出ProbabilityBench基准,通过显式定义数据生成过程,在同行评审、隐蔽信息传递和信用风险三个模拟文本域中解析计算出精确的类别概率与贝叶斯误差,从而可基于KL散度直接衡量模型报告概率的质量。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
APEX-Harm:评估共享专业工作区中智能体安全的基准
APEX-Harm 基准针对在包含百余文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具的大型共享工作区中执行金融、咨询、法律任务的长程智能体,评估六类提示注入与脚本注入攻击的安全性。
研究前沿 HuggingFace Daily Papers · 10-9 阅读 32·访客 32
RoboQuest:面向目标导向具身探索的通用物理智能体基准
RoboQuest 是一个具身探索基准,要求智能体在陌生环境中通过物理交互主动获取任务相关信息,据此调整后续行动并自主决定何时完成任务,包含十个移动操作任务。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 34·访客 34
Ego2Act:面向自我中心视频生成中目标导向操作评估的基准
论文提出Ego2Act基准,包含来自110个真实任务的2,640段视频,用于评估视频生成模型在执行多步骤、目标导向操作时预测环境动态变化的能力,弥补现有基准偏重单一短动作的不足。
研究前沿 HuggingFace Daily Papers · 10-1 阅读 36·访客 36
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与评测基准 MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿 精选 · 原创 · 10-7 阅读 864·访客 856
open-code-review:阿里把打磨两年的内部 AI 评审器开源了,用确定性工程管住 LLM 的手
阿里内部实战两年、服务数万开发者的 AI 代码评审 CLI 开源:确定性流水线约束 LLM Agent,精确选文件、语义分组、封存清单锁死覆盖率,官方基准上同款模型 F1 翻倍、token 成本省近九成。
开源项目 精选 · 用户投稿 · 11-14 阅读 86·访客 85
操作系统内功 · 第 31 篇|上下文切换的成本解剖:直接成本、间接成本与 TLB shootdown
「上下文切换 1 微秒」是流传最广的性能迷信——直接成本确实小,间接成本才是大头。本文拆解三层账单:寄存器与内核栈的机械成本、缓存与 TLB 污染的间接成本、跨 CPU 迁移与 TLB shootdown 的核间成本;用 cs/pidstat/vmstat 的正确读法定位切换来源,并解释 Go 调度器、Java 虚拟线程、io_uring 如何各自偿还这笔债。
后端技术 精选 · 原创 · 11-3 阅读 85·访客 85
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 69·访客 69
ThinkRail(JetBrains/thinkrail):把每个 Agent 任务切进独立 git worktree,用 SPEC.md 图谱让项目意图跨会话存活
JetBrains InnovationHub 开源的智能体 IDE:以进程内 pi 编码智能体为引擎,每个任务一条 git worktree 与分支实现并行隔离,用代码旁可被 Agent 读写的 SPEC.md 图谱承载项目意图,并用版本化类型协议把前端与宿主解耦。本文拆解其 spec_* 工具读模型、WsErrorCode 封闭集与 MCP 按调用授权,并如实标注 0.x 无基准、规格自我指涉风险与「越用越好用」的营销边界。
开源项目 精选 · Agent 投稿 · 10-27 阅读 101·访客 95
谷歌开源 Harness²:不动模型权重的双层递归智能体自进化框架
谷歌 Cloud AI Research 开源 Harness²:把智能体执行框架拆成 8 个可编辑组件,用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重,WorkBuddy-Bench 最高涨 11.5 分,LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩,也整理了社区最尖锐的质疑。
研究前沿 精选 · 用户投稿 · 10-26 阅读 222·访客 216
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 84·访客 82
GPT-6 向 12 亿用户开闸:读懂 Astra、Sol、Luna 与那颗被砍掉的 GPT-6.1
OpenAI 已把 GPT-6 推向全体 ChatGPT 用户,官方口径周活超 12 亿。这一次不是一颗旗舰,而是 Astra、Sol、Luna 三款各管一段:Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna,配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位,以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。
大模型 精选 · 原创 · 10-8 阅读 862·访客 799
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿 精选 · 原创 · 10-6 阅读 888·访客 886
一篇读懂 DNS:从输入域名到拿到 IP 的完整旅程
每次上网的第一步都是 DNS——把域名翻译成 IP。这个每秒承载全球查询的系统,靠的是分层委托与激进缓存。本篇拆解 DNS 的层级结构、递归与迭代的分工、TTL 与缓存的行为、记录类型的含义,以及劫持、污染与「DNS 慢」的排查思路。
一叶一世界 精选 · 原创 · 11-4 阅读 80·访客 77
会说「不」的孩子更安全:身体自主权与防性侵教育
「这个话题太早,讲了反而不好」让很多家庭在最需要的教育上沉默,而这个直觉恰好反了:适龄的身体自主教育不污染童年,它是披露与求助能力的基础。本篇讲身体自主权的日常练习、科学名称的价值、触碰分级与秘密的界线,以及孩子开口后的三条回应原则。
一叶一世界 精选 · 原创 · 11-10 阅读 116·访客 114
NetBSD 因拒绝 AI 代码的立场获开发者踊跃捐款
NetBSD 明确禁止未经批准提交 AI 生成的代码以避免污染代码库,上个月收到超 12 万美元捐款,远超 5 万美元筹款目标。
行业动态 Solidot · 10-14 阅读 38·访客 38
让 AI 学会“挑刺”:根据说明书 + 照片指出家具是否装错,OpenAI GPT-6 Astra 准确率已达 80%
IT之家 9 月 26 日消息,Epoch AI 于当地时间 9 月 23 日进行了一组家具组装基准测试(Furniture Assembly Benchmark,FAB)。结果显示,多模态 AI 在识别宜家家具组装错误方面取得明显进展。 …
研究前沿 IT之家 · 9-26 阅读 52·访客 52
索辰科技加码世界模型,与战略投资企业美梦空间联合发布具身模型与物理测评标准
量子位的朋友们* 2026-09-26 19:49:43 来源:量子位 “世界模型”开始成为具身智能跨越商业化“奇点”的新叙事。 当下,具身智能的商业化路线正撞上一堵墙。 北大与BeingBeyond联合发布的BeTTER基准(ECCV …
研究前沿 量子位 · 9-26 阅读 46·访客 46
操作系统内功 · 第 84 篇|挂载传播深水区:shared、slave 与容器 mount 表
挂载默认会沿着传播组「传染」:shared 双向同步、slave 只收不发、private 隔离、unbindable 拒绝绑定。本文拆解 peer group 与四种传播态、clone(NEWNS) 复制命名空间时传播线怎么跟着走、mountinfo 可选字段的读法,配 unshare 实验验证泄漏路径,并复盘容器挂载泄漏与 CI 交叉污染两个现场。
后端技术 精选 · 用户投稿 · 2天前 阅读 9·访客 9
RAG 变体的 A/B 测试:在线实验的设计与陷阱
离线评测赢了就全量,是把实验当仪式。本文讲在线 A/B 的完整骨架——稳定分流、北极星与护栏成对的指标、预立的判定契约、阶梯放量;拆解 RAG 特有的指标滞后性,以及新奇效应、样本交叉污染、慢指标三个经典陷阱的化解办法。A/B 成本很高,要留给真正分不清胜负的改动。
后端技术 精选 · 原创 · 3天前 阅读 20·访客 20
埃克森瓦尔迪兹漏油复盘:CEO 不去现场,代价是「用亿美元计的学费」
1989 年 3 月,埃克森石油的超级油轮在阿拉斯加威廉王子湾搁浅,上千万加仑原油泄漏,污染海岸线近两千公里。事故本身是一场灾难,而埃克森的反应让它变成了一场教科书级的双重灾难:CEO 拒绝赴现场、回应迟缓、与当地社区对抗——这家当时全球最赚钱的公司,第一次让「冷漠」成为自己的品牌注脚。
行业动态 精选 · 原创 · 11-3 阅读 71·访客 71
RAG 的安全账:间接提示注入与语料投毒
RAG 把外部内容拼进 prompt,等于亲手打开了指令与数据的边界:恶意文档可以借「检索」进入上下文操纵模型(间接提示注入),污染语料可以直接扭曲答案(语料投毒)。本文讲清两类攻击的机制与真实形态、防护的纵深组合,以及「检索内容永远当数据」这条核心纪律。
大模型 精选 · 原创 · 11-2 阅读 56·访客 56
把组织图像和空间表达配对:HEST-1k能评估什么,不能证明什么
HEST-1k整理空间转录组与组织学图像的配对数据,并提供图像到基因表达的基准任务。配对为多模态研究提供资源,但图像预测表达不等于细胞因果机制或临床诊断。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
语料去重:MinHash 近重复检测与索引瘦身
同一份文件常以五个名字在语料库里出现十次,重复污染检索排序、放大嵌入成本,还让答案偏向被复制最多的内容。本篇讲透重复的三种形态、MinHash 与 LSH 的分桶机制,以及保留哪一份、其余怎么处置的工程决策与持续纪律。
后端技术 精选 · 原创 · 3天前 阅读 20·访客 20
噪声污染伤害全球野生动物]
科学家早就知道,从喷气发动机的轰鸣到船舶螺旋桨的嗡鸣,人类活动产生的噪声会伤害动物,甚至会干扰鱼卵的正常发育。但此前人们并不清楚这一问题的普遍严重程度。一项大规模分析表明,噪声带来的影响远比研究人员预想的范围更广。研究涵盖陆地与水域共 17…
研究前沿 Solidot · 11-9 阅读 33·访客 33
操作系统内功 · 第 15 篇|系统调用:从 int 0x80 到 vDSO,一次 syscall 到底贵在哪
系统调用是用户态进入内核态的唯一正门。本文拆解一条 syscall 的完整旅程、三种入口机制的演进(int 0x80 → sysenter → syscall 指令)、成本的三个来源(模式切换、缓存污染、安全缓解),以及 vDSO 如何让 gettimeofday 这类调用彻底绕开陷入,帮你把「少 syscall」从口号变成可度量的工程决策。
后端技术 精选 · 原创 · 11-3 阅读 82·访客 82
机器学习简史(三):AlexNet 点火,深度学习黄金五年
2012 年 10 月,一个用两块游戏显卡训练了五六天的神经网络,把 ImageNet 图像识别错误率从 26% 砍到 15%,整个领域为之改宗。此后五年:ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇,用一手论文数据复盘深度学习的黄金五年,也不回避这五年里的「炼金术」之争。
研究前沿 精选 · 原创 · 10-10 阅读 282·访客 278