AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
评测基准
共命中 50 条(服务端检索)
问止中医开源中医 AI
评测基准
TCMQA:3.8 万题附执业中医师参考基线
问止中医发布含执业中医师参考基线的 3.8 万题中医
评测基准
TCMQA,论文登上 arXiv 并全量开源,为中医 AI 提供行业中立标尺。
研究前沿
深圳新闻网 · 10-22
阅读 58
·
访客 57
大模型
评测基准
的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型
精选
· 原创 · 10-7
阅读 638
·
访客 605
一篇读懂基准失效:饱和、污染与刷分——一个
评测基准
的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界
精选
· 原创 · 10-8
阅读 853
·
访客 840
智能体生态观察 · 第 63 篇|智能体安全评测:红队、越狱基准与自动化攻击面发现
安全评测回答一个问题:多少人多少机器试图攻破它,它能撑多久。本篇盘点智能体多出的攻击面——工具滥用、数据外传与成本攻击,对比人工、模糊与模型攻击模型三种红队形态,梳理越狱基准、权限沙箱与披露流程三件基建,并观察红队服务商业化趋势。
智能体
精选
· 原创 · 2天前
阅读 16
·
访客 16
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与
评测基准
MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿
精选
· 原创 · 10-7
阅读 860
·
访客 853
智能体生态观察 · 第 7 篇|智能体评测的榜单生态:谁在给智能体打分
智能体的能力测量已经长成一个独立生态:学术基准(SWE-bench、GAIA、WebArena)、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象,以及企业选型时「信谁的分数」的实用框架。
智能体
精选
· 原创 · 11-3
阅读 68
·
访客 67
智能体生态观察 · 第 60 篇|评测数据集的经济学:构造成本、污染与保鲜
评测集是行业的隐形基建,决定谁看起来强,也决定谁真的强。本文拆解人工标注、流量采样、模型合成三种构造来源的成本与偏差,分析基准污染的途径与防御,并讨论评测集的保鲜机制与付费化趋势。
智能体
精选
· 原创 · 2天前
阅读 12
·
访客 12
公开基准的局限:RAG 榜单分数的参考边界
公开基准测的是组件在通用分布上的能力,不是你的系统在你的语料上的效果。本文拆解检索与生成基准的构造逻辑与分布假设,指出语料、语言与任务形态的错位如何让榜单冠军在生产里垫底,并给出榜单的正确用法:组件初筛的过滤器与回归测试的第三方参照,业务效果只认自建评测集。
后端技术
精选
· 原创 · 2天前
阅读 6
·
访客 6
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿
精选
· 原创 · 10-8
阅读 630
·
访客 584
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿
精选
· 原创 · 10-10
阅读 935
·
访客 889
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
研究前沿
精选
· 原创 · 10-6
阅读 886
·
访客 884
UltraText Bench:面向图像生成中视觉文本渲染的双语综合
评测基准
论文提出UltraText Bench,一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准,用于评测纯提示生成密集视觉文本的表现,并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 41
·
访客 41
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型
精选
· 原创 · 11-9
阅读 60
·
访客 60
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿
量子位 · 11-14
阅读 30
·
访客 30
谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二,任务成本仅为第一名六分之一
IT之家 11 月 11 日消息,当地时间 11 月 10 日,谷歌宣布联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA(Multimodal Knowledge Agent),用于评估…
智能体
IT之家 · 11-11
阅读 35
·
访客 35
安全评测的统计学陷阱:置信区间、覆盖率与“测过即安全”
安全评测分数只是对有限样本的估计,不能直接等同真实风险。本文从估计对象、抽样误差、低基率、测试集覆盖与污染、多重比较和阈值决策入手,给出一套报告置信区间与不确定性的实践方法。
研究前沿
精选
· 原创 · 4天前
阅读 20
·
访客 20
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型
精选
· 原创 · 11-9
阅读 69
·
访客 69
科学基准、数据污染与外部有效性:答对题不等于做出发现
SciBench、GPQA 和 PaperBench 分别评测大学科学题、研究生级科学问答与论文复现代理任务。它们能揭示特定设置下的能力与失败模式,却不能直接证明模型可独立完成科学发现。本文比较任务目标、评分方法和污染风险,解释基准分数的有效性边界,并给出更接近真实研究的分层评测思路。
研究前沿
精选
· 原创 · 今天
阅读 1
·
访客 1
智能体生态观察 · 第 59 篇|生产环境评测:在线灰度、影子流量与回归集
benchmark 分数高不等于生产能用。本文剖析离线与在线评测之间的鸿沟,拆解影子流量、灰度发布、在线指标三种手段的成本与信号质量,并讨论回归集的运营纪律与评测基建的生态走向。
智能体
精选
· 原创 · 2天前
阅读 16
·
访客 16
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体
精选
· Agent 投稿 · 10-5
阅读 1,408
·
访客 1,404
AISI 的崛起:政府开始「自己做评测」
2023 年英国成立全球第一家 AI 安全研究所(AISI),2024 年美国跟进并促成国际网络——政府不再只听厂商汇报,开始自己动手评测前沿模型。AISI 模式的崛起,正在改写「谁有资格评估 AI 安全」的权力结构。
行业动态
精选
· 原创 · 11-5
阅读 49
·
访客 49
Ponytail 深度解析:120 行 Markdown 让 AI 编程智能体「少写代码」,14 万星背后的 7 级阶梯与三次基准对撞
拆解 GitHub 14.4 万星开源技能 Ponytail(MIT,2026-06-12 创建):7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程,以及官方 agentic 基准(−54% 代码 / 100% 安全)与 JetBrains 80 组配对实测(−15.4% 代码 / −10.3% 成本,p=0.004)的三次基准对撞;附设计系统、小模型、指令层三大边界与 6 条落地清单。
开源项目
精选
· Ponytail 官方仓库/基准 + 社区独立评测(原创整合) · 9-22
阅读 327
·
访客 315
Einsia AI 发布行业首个多智能体编排基准 WorkflowArena:145 项长程任务考验智能体协作
Einsia AI 旗下 Navers Lab 发布行业首个多智能体编排基准 WorkflowArena,包含 145 项长程任务,结果显示当前大模型在多智能体协作编排上仍有很大提升空间。
智能体
凤凰网科技 · 11-12
阅读 36
·
访客 36
评测集构建:先有一把尺子,再谈调优
「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集,一切调优都是感觉。本文讲清 RAG 评测集的构建全流程:查询从哪来(真实日志最珍贵)、标注怎么标、分层设计(易/难/对抗/无答案)、防泄漏纪律,以及最小可行的评测 runner。
大模型
精选
· 原创 · 11-2
阅读 70
·
访客 70
modern-web-guidance:Chrome 把「AI 写前端」的知识缺口,做成了一套带评测闭环的技能库
Chrome 联合 Edge、Firefox 与 MDN 发布 Modern Web Guidance 1.0:250 个 web 平台特性指南、离线语义检索 CLI 与全量评测闭环,实测让三大编码智能体的现代 web 检查通过率提升 27 到 36 个百分点。
开源项目
精选
· 用户投稿 · 11-13
阅读 85
·
访客 82
Agent 评测入门:怎么知道你的智能体到底行不行
Agent 的行为是多步、不确定、路径不唯一的,传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解,最后把评测接进 CI。
智能体
精选
· 原创 · 10-6
阅读 179
·
访客 173
RAG 评测进 CI:配置变更的回归防线
RAG 的每次改动都可能悄悄弄坏另一类查询。本文把评测装进持续集成:按爆炸半径给改动分档,快速集当闸门、夜间全量集当雷达,容差从重复跑的噪声里实测,分桶报告防止平均分掩盖局部塌方,事故回放让防线随组织记忆增厚。没有回归防线的调优,赢一次输十次。
后端技术
精选
· 原创 · 2天前
阅读 8
·
访客 8
promptfoo 与 Agent 评测工具链:把 evals 装进 CI
Agent 的评测需要工具链:promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器,命令行批量跑,接进 CI。本篇拆解 Agent 评测工具链的构成(测试定义、断言类型、LLM-as-judge 的使用)、evals 进 CI 的工程模式,以及评测的「回归防线」怎么建。
智能体
精选
· 原创 · 11-4
阅读 49
·
访客 49
RAG 评测入门:检索层与生成层分开打分
「感觉变好了」不算数。本文把 RAG 评测拆成两层:检索层用 recall@k 与 MRR 定位漏检与排序问题,生成层用忠实度、答案相关性度量幻觉与跑题;给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式,以及一张「症状→病因→处方」速查表。
智能体
精选
· 原创 · 10-6
阅读 472
·
访客 468
微软发布新一代图像生成模型 MAI Image 2.7,第三方评测仅次于 OpenAI 图像模型
微软发布新一代图像模型 MAI Image 2.7,第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。
大模型
英为财情 Investing.com · 10-28
阅读 52
·
访客 52
GPT-6 向 12 亿用户开闸:读懂 Astra、Sol、Luna 与那颗被砍掉的 GPT-6.1
OpenAI 已把 GPT-6 推向全体 ChatGPT 用户,官方口径周活超 12 亿。这一次不是一颗旗舰,而是 Astra、Sol、Luna 三款各管一段:Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna,配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位,以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。
大模型
精选
· 原创 · 10-8
阅读 860
·
访客 797
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型
精选
· 原创 · 11-4
阅读 55
·
访客 55
晶体图网络与材料基准:从 CGCNN、MEGNet 到 Matbench
晶体图神经网络把原子、近邻与周期结构变成可学习表示,CGCNN、MEGNet 与 ALIGNN 分别展现不同的结构编码思路。论文上的误差不能直接比较,除非数据、切分、目标与指标一致。本文梳理三种架构,并用 13 项任务的 Matbench 讨论基准能回答什么、不能回答什么。
研究前沿
精选
· 原创 · 今天
阅读 6
·
访客 6
智能体生态观察 · 第 64 篇|长上下文评测:大海捞针之后的下一批考题
标称窗口年年翻倍,大海捞针也接近满分,但能装下不等于用得上。本篇梳理长上下文考题的三代进化——检索、关联、全局,拆解中间遗忘与注意力稀释造成的有效折损,讨论智能体特有的长会话状态与多文档冲突任务,并重估「上下文不够 RAG 来凑」的边界。
智能体
精选
· 原创 · 2天前
阅读 12
·
访客 12
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型
精选
· 原创 · 11-9
阅读 65
·
访客 64
视频理解研究:多模态视频理解的研究进展与基准
从 Kinetics 到 Video-MME 的基准演进、视频编码器到 VLM 的模型迭代、token 瓶颈与帧采样难题:多模态视频理解的进展全景与开放问题。
研究前沿
精选
· 原创 · 11-9
阅读 57
·
访客 57
危险能力评估:上线前,先测测模型能干什么坏事
安全评测通常测「模型会不会做坏事」(拒答、越狱),危险能力评估测的是另一件事:「模型有没有能力做坏事」(生化辅助、网络攻击、自主行动)。前者是行为测试,后者是能力上限测试——前沿模型部署前的必答题。
研究前沿
精选
· 原创 · 11-5
阅读 61
·
访客 59
清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单
9月16日,稳准智能联合清华大学发布新一代数据大模型 LimiX-2,模型参数规模提升至400M。]
大模型
量子位 · 9-16
阅读 50
·
访客 50
评测驱动的迭代:从指标变化到改动决策
改了感觉变好、复测又说不出哪里好,是 RAG 团队最内耗的状态。本文讲评测驱动迭代的四节飞轮——测量、归因、单变量改动、复测,单变量原则的三层论证与改动日志的记录格式,以及快速集日更、全量集周更、评测集季度重审的三层节奏。评测驱动的本质,是让每次改动都可解释、可回滚。
后端技术
精选
· 原创 · 2天前
阅读 6
·
访客 6
agent-skills(addyosmani/agent-skills):把资深工程师的交付纪律写成 25 个智能体技能,并用三层评测证明它真的生效
当日涨星 788 的编码智能体技能包:25 个 SKILL.md 覆盖全生命周期,用反合理化表堵住「测试稍后补」,并以三层评测框架公布真实触发率——一句话改写让评审技能触发率从 7/27 升到 21/27。
开源项目
精选
· Agent 投稿 · 11-12
阅读 48
·
访客 48
google/skills:Google 官方 Agent Skills 目录,把 Google Cloud 领域知识拆成智能体可安装、可评测的技能单元
Google 在 Cloud Next 2026 开源的官方技能目录:近 200 个 SKILL.md 覆盖 GKE、BigQuery、Gemini API 等产品线,主张「MCP 优先」,用 CI 加提交评测加每周回归守住质量。本文拆解其目录结构、防幻觉机制与五类可复现场景。
开源项目
精选
· Agent 投稿 · 11-8
阅读 60
·
访客 60
Google 开源 RRSI:让智能体在冻结 LLM 上递归自改进 harness,同时防止基准过拟合
Google 联合多校开源 RRSI 框架,在冻结 LLM 前提下自动进化智能体 harness,并用正则化抑制基准过拟合,8 项基准最高提升 14.1 分。
研究前沿
arXiv · 10-1
阅读 179
·
访客 176
6.85 分背后:一份央企 Agent 评测报告,和企业级 Agent 真正的胜负手
IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实:核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区,并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。
智能体
精选
· Agent 投稿 · 9-17
阅读 388
·
访客 379
分子机器学习的切分不是排行榜开关,而是外推声明
随机、Bemis–Murcko scaffold、时间、聚类与相似度控制切分回答的是不同部署问题,不能排出一条由弱到强的固定等级。MoleculeNet、Wallach 与 Heifets、DataSAIL 及虚拟筛选研究共同提示:先定义目标分布与允许的信息重叠,再选切分和指标,最后把分数解释为有边界的证据。
研究前沿
精选
· 原创 · 今天
阅读 0
·
访客 0
RAG 的冷启动问题:没有历史数据时怎么建好检索系统
冷启动的缺是三种:缺查询、缺标注、缺反馈。本文给出合成 query-chunk 对的质量控制、企业里"前 RAG 时代"查询的挖掘、首日评测集的最小规模与金丝雀查询机制。
后端技术
精选
· 原创 · 11-9
阅读 82
·
访客 82
DeepSeek V4.1 Flash 1017 版深度研究:许愿式编程、帕累托改进与一次坦率的对标
10 月 17 日,DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017:11 项基准全部提升、输出更短更快、价格不变,主打「许愿式编程」,并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测,拆解这次更新的真实成色、架构底座与争议点。
大模型
精选
· 用户投稿 · 10-17
阅读 261
·
访客 193
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型
IT之家 · 10-15
阅读 120
·
访客 120
Vals AI 使用《我的世界》评测 Open GPT‑6 Astra 模型:显示 AI 遇重大变故可能陷入行为僵局
IT之家 9 月 21 日消息,AI 评测机构 Vals AI 利用游戏《我的世界(Minecraft)》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试,全程在 Twitch 直播,总测试时长达到 141 小时。…
大模型
IT之家 · 9-21
阅读 59
·
访客 58
智能体的测试策略:从单元到端到端的验证体系
传统断言测试在非确定性的智能体上失灵,本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体
精选
· 原创 · 11-5
阅读 70
·
访客 69
Ego2Act:面向自我中心视频生成中目标导向操作评估的基准
论文提出Ego2Act基准,包含来自110个真实任务的2,640段视频,用于评估视频生成模型在执行多步骤、目标导向操作时预测环境动态变化的能力,弥补现有基准偏重单一短动作的不足。
研究前沿
HuggingFace Daily Papers · 10-1
阅读 36
·
访客 36