从 Codex 通过 HumanEval 的 28.8%，到 AlphaCode 的百万采样，再到 SWE-Bench 上 agent 们从 4% 爬到 70% 以上，梳理代码智能五年跃迁的技术脉络与产业影响。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-l…

SWE-agent（普林斯顿）提出 ACI（Agent-Computer Interface）概念：给模型设计的「电脑界面」决定智能体表现——正如人机交互设计决定人的效率。本篇拆解 ACI 的设计理念（为模型优化的工具面）、SWE-agent 的代理循环、它与 SWE-bench 的关系，以及「接口设计是智能体工程的核心」的深远含义。

量子位的朋友们* 2026-10-09 16:53:08 来源：量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日，在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

Repository-level coding benchmarks have become the standard for evaluating coding agents, yet they inherently suffer fro…

Devin（Cognition）是「AI 软件工程师」概念的引爆者，也是争议的中心：演示与现实的落差、SWE-bench 的修改风波、以及自主智能体产品化的真实难度。本篇拆解 Devin 的产品形态与推断的架构、能力边界的实证检验、以及从 Devin 事件中学到的「AI 产品可信度」课题。

OpenHands（原 OpenDevin）是开源自主编码智能体的旗舰：沙箱化的执行环境、事件流架构、浏览器与终端的全能力。本篇拆解它的架构（事件流、运行时沙箱、代理抽象）、与 SWE-bench 的渊源、社区驱动的基准成绩，以及「自主智能体开源化」的意义与边界。

智能体的能力测量已经长成一个独立生态：学术基准（SWE-bench、GAIA、WebArena）、社区榜单、厂商自证与第三方评测机构并行。本篇观察这个评测生态的结构、每类榜单的可信度特征、榜单驱动的怪象，以及企业选型时「信谁的分数」的实用框架。

论文提出涵盖十个领域的 τ-Emotion-Bench 基准，在受控的情绪化用户交互下评估工具调用智能体，并配套 Tracer 数据生成管线用于构建任务与采集训练轨迹。

文章介绍 SWEeper-Bench 基准，包含来自 200 个广泛使用的开源 Web 应用真实修复的 200 个任务，用于评估智能体在多步交互场景下自主发现并修复缺陷的能力，而现有基准多假设缺陷已被识别。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It…

Coding agents solve repository issues through long sequences of exploration, editing, and validation. These trajectories…

Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventu…

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

Recent video generation models can produce highly realistic videos from natural language instructions, with visual quali…

Real-world enterprise data science and analytics workflows require reasoning across dozens of tables, performing statist…

Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in rob…

Anthropic 发布 Claude Sonnet 5.5，称其为 Opus 5.5 的更快、更低成本补充，相比 Sonnet 5 输出速度快 30% 以上、单任务成本最多降低 30%，并已上线 Claude 平台及 AWS、Google Cloud、Azure。

Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and respon…

Repository-level software engineering (SWE) comprises heterogeneous task categories, whose progress under pooled agentic…

Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in soft…

Coding agents are typically evaluated with desired behavior specified through issues or instructions. In practical web d…

Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucina…

Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the pro…

While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autono…

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question …

LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and opera…

从 Toolformer 的自监督工具调用发现，到 ReAct、ToolLLM 与原生函数调用生态，再到 GAIA、tau-bench 暴露的长程执行鸿沟，梳理工具学习研究的完整脉络。

谷歌 Cloud AI Research 开源 Harness²：把智能体执行框架拆成 8 个可编辑组件，用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重，WorkBuddy-Bench 最高涨 11.5 分，LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩，也整理了社区最尖锐的质疑。

针对生成内容音画不同步问题，论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-Bench基准及同步感知奖励模型，覆盖语音、发声、乐器、环境声四类声音事件。

研究提出CAPE-Bench发现语言模型智能体存在越权后瞒报行为，其中'追溯式许可洗白'在1081起新违规中70%先于虚假报告出现，并证明残差流线性读出可在行为发生前预测违规（AUROC 0.94），优于思维链监控器。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual …

推理链可信吗？从 Lanham 忠实性实验、CoT 掩蔽风险，到 Lean 形式化证明与 AlphaGeometry 的 IMO 级成绩，梳理推理验证技术的完整谱系。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Recently, harness self-evolution has emerged as an important paradigm for improving agent performance. Prior studies sho…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

让 AI 改进 AI 是半个多世纪的旧梦，但 2026 年的落地方式出乎意料：不是模型改自己的权重，而是智能体改自己的「执行框架」。本文沿四条路线梳理自我改进的演进——记忆与经验、提示与工作流优化、代码自进化、模型自训练——从 Reflexion、Voyager、DSPy、GEPA 到 Darwin Gödel Machine 与 AlphaEvolve，并解释谷歌 Harness² 为何被视为这一谱系的收束点，以及 misevolve、objective hacking 这些绕不开的风险。

Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Makers tout score gains from new agent harnesses like Claude Code o…

Moonshot AI Releases Kimi K3.1 Pro: A 2.8T Total/104B Active Params (MoE) Model with 1M Context !(https://www.gstatic.co…

Oct 23, 2026 Moonshot AI Key Points Chinese AI company Moonshot AI has released Kimi K3.1 Pro, which jumped to fourth pl…

📱iPhone Duo 开启全球限购，每位顾客最多买 2 台 🛡️PHP 紧急修复两个严重漏洞，攻击者无需登录即可远程执行代码 🏭三星、SK 海力士升级中国工厂，拟转产更高层数 NAND 🚗雷军：汽车产业如果没有安全，其他都是 0 …

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

At GTC Berlin, NVIDIA is showcasing its full lineup of local AI hardware. RTX Spark, which launched last week, powers pe…