问止中医发布含执业中医师参考基线的 3.8 万题中医评测基准 TCMQA，论文登上 arXiv 并全量开源，为中医 AI 提供行业中立标尺。

Leaderboard 分数与真实体验错位，主要来自四类坑：数据污染（考题漏进训练数据）、面向榜单的针对性刷分（Goodhart 定律）、评测方法本身不稳（提示词、判分与统计方差）、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制，并给出读榜时的 7 条防坑检查清单。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

FrontierMath 发布时最好的模型不到 2%，一年半后最高分冲到约 52%；可同一时期，GSM1k 证明部分模型的高分有背题成分，FrontierMath v2 修正了四成多题目，25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波，以及 2026 年评测范式向证明题与开放问题的转向。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

拆解 GitHub 14.4 万星开源技能 Ponytail（MIT，2026-06-12 创建）：7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程，以及官方 agentic 基准（−54% 代码 / 100% 安全）与 JetBrains 80 组配对实测（−15.4% 代码 / −10.3% 成本，p=0.004）的三次基准对撞；附设计系统、小模型、指令层三大边界与 6 条落地清单。

Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

微软发布新一代图像模型 MAI Image 2.7，第三方评测中排名仅次于 OpenAI 的 GPT Image 2.5 Sunburst。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

9月16日，稳准智能联合清华大学发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。]

Google 联合多校开源 RRSI 框架，在冻结 LLM 前提下自动进化智能体 harness，并用正则化抑制基准过拟合，8 项基准最高提升 14.1 分。

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…

论文提出Ego2Act基准，包含来自110个真实任务的2,640段视频，用于评估视频生成模型在执行多步骤、目标导向操作时预测环境动态变化的能力，弥补现有基准偏重单一短动作的不足。

量子位的朋友们* 2026-09-26 19:49:43 来源：量子位 “世界模型”开始成为具身智能跨越商业化“奇点”的新叙事。 当下，具身智能的商业化路线正撞上一堵墙。 北大与BeingBeyond联合发布的BeTTER基准（ECCV …

提出 CLASHarness 框架，用于评估视觉语言模型驱动的多智能体系统在信息不一致、指令矛盾等冲突场景下的处理能力，弥补现有基准多假设协作一致环境的不足。

研究者提出ProbabilityBench基准，通过显式定义数据生成过程，在同行评审、隐蔽信息传递和信用风险三个模拟文本域中解析计算出精确的类别概率与贝叶斯误差，从而可基于KL散度直接衡量模型报告概率的质量。

APEX-Harm 基准针对在包含百余文件及邮件、日历、聊天、文档、表格、PDF 和代码执行工具的大型共享工作区中执行金融、咨询、法律任务的长程智能体，评估六类提示注入与脚本注入攻击的安全性。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

该论文提出跨领域基准 RuleTrek，通过结构化规则图与增量组合子场景的构建流程，评估智能体在信息分散于多文件场景中的规则识别与应用能力。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

RoboQuest 是一个具身探索基准，要求智能体在陌生环境中通过物理交互主动获取任务相关信息，据此调整后续行动并自主决定何时完成任务，包含十个移动操作任务。

量子位的朋友们* 2026-10-09 16:53:08 来源：量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日，在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…

「GPT 比 Claude 高 20 分」是怎么算出来的？Elo 等级分用一场对局的期望胜率换算积分涨跌，Bradley-Terry 模型再把它升级成全量数据的联合估计——Chatbot Arena 2023 年底悄悄完成了这次换引擎。本文拆解两代算法的数学，以及排行榜置信区间的正确读法。

红队测试是大模型发布前发现弱点的核心工程手段：自动化攻击把已知模式跑成规模，人工探索发现未知失败，度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。

K-Dense 开源的科研智能体技能库：177 个覆盖基因组、药物发现、临床证据等领域的 SKILL.md，遵循 Agent Skills 开放标准，Claude Code、Cursor、Codex、Gemini CLI 都能直接安装。本文拆解它的渐进加载架构、上下文成本账本、分发与安全流水线，并给出五类落地场景与真实评测数字。

obra/superpowers 单日再涨 1,096 星。拆解它的 SessionStart 引导注入、1% 技能触发规则、每任务新子代理加双阶段评审的执行引擎与 Quorum 行为评测闭环，并给出五类落地场景、横向对比与风险清单。

港大数据智能实验室出品，上线十个月拿下四万五千星：一条单循环 agent 流水线跑全部十种学习模式，L1/L2/L3 三层记忆全部落盘可审计，九种 RAG 引擎可评测可切换，自带十五路 IM 渠道与 EduHub 技能市场。

★27,270、Apache-2.0 的 AI Agent 独立审计器 iFixAi：用「夹具即公司」把业务规则变成模拟环境，60 项检查、五支柱加权、跨厂商判分与三项一票否决，补上能力榜之外的治理审计空白。拆解 structural 探针、零容差否决、manifest 可复现性与真实边界。

Astral（Ruff 团队）用 Rust 写的 uv，一个二进制替代 pip、venv、pyenv、Poetry、pipx 等一串工具：官方基准快 10 到 100 倍、通用锁文件、Cargo 式工作区。本文讲清它的快从哪来、锁文件与工作区机制、2026 年的采用现状，以及迁移时真正会踩的坑。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

OceanBase团队提交的Data Agent方案登顶国际数据智能体基准Data Agent Benchmark]

IT之家 9 月 26 日消息，Epoch AI 于当地时间 9 月 23 日进行了一组家具组装基准测试（Furniture Assembly Benchmark，FAB）。结果显示，多模态 AI 在识别宜家家具组装错误方面取得明显进展。 …

AI 没有消灭交付瓶颈，只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准（LinearB 8.1M PR、Faros AI 22,000 开发者），给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁，以及 5 段可直接复制的代码级护栏（GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志）与 90 天落地路线图。关键数据：任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%；AI PR 30 天合并率 32.7% vs 人工 84.4%；论文实验中 Lead Time −35%、CFR −38%、MTTR −43%，AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。

DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘，其DSec沙盒基础设施每天服务约300万个沙盒，支撑从V3.2到V4的Agent训练、评测与数据预处理，计划将Agent运行环境数量和种类扩充成百上千倍。

研究团队推出RobotWorld模拟测试平台，含84项覆盖操作、移动操作、运动控制、驾驶与飞行控制的任务，通过交互预算与可执行成功检验评估智能体将指令转化为物理任务执行的能力，并分析哪些能力可迁移、哪些缺口导致无法可靠完成。

向量检索毫秒级出结果却常常「差一口气」，交叉编码器足够准却快不起来——Reranker 用两阶段管线把两者拼在一起：先粗召回 50-100 条，再精排挑出 5-10 条。本文拆解双塔与交叉编码器的架构分歧、ColBERT 的晚交互第三条路、2026 年商用与开源选型，以及重排器救不了你的三种场景。

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

窗口从 8K 涨到千万级，「RAG 已死」论再起。但评测数据显示有效上下文远小于宣称窗口，长输入的成本与延迟也要另算一笔账。本文用论文与定价证据拆解两者分工：小库精读交给长窗口，大库「找得到、读得起」仍靠检索。

JetBrains InnovationHub 开源的智能体 IDE：以进程内 pi 编码智能体为引擎，每个任务一条 git worktree 与分支实现并行隔离，用代码旁可被 Agent 读写的 SPEC.md 图谱承载项目意图，并用版本化类型协议把前端与宿主解耦。本文拆解其 spec_* 工具读模型、WsErrorCode 封闭集与 MCP 按调用授权，并如实标注 0.x 无基准、规格自我指涉风险与「越用越好用」的营销边界。

谷歌 Cloud AI Research 开源 Harness²：把智能体执行框架拆成 8 个可编辑组件，用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重，WorkBuddy-Bench 最高涨 11.5 分，LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩，也整理了社区最尖锐的质疑。