2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-l…

量子位的朋友们* 2026-10-09 16:53:08 来源：量子位 联想天禧AI自主研发的专业代码智能体框架TianxiCode 以71%的问题解决率登顶全球第一名 近日，在国际公认难度最高、最贴近真实开发环境的软件工程评测SWE-b…

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

Repository-level coding benchmarks have become the standard for evaluating coding agents, yet they inherently suffer fro…

论文提出涵盖十个领域的 τ-Emotion-Bench 基准，在受控的情绪化用户交互下评估工具调用智能体，并配套 Tracer 数据生成管线用于构建任务与采集训练轨迹。

文章介绍 SWEeper-Bench 基准，包含来自 200 个广泛使用的开源 Web 应用真实修复的 200 个任务，用于评估智能体在多步交互场景下自主发现并修复缺陷的能力，而现有基准多假设缺陷已被识别。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

We introduce MetroLLM-Bench, a 955-case benchmark for testing language models as the policy layer of a transit kiosk. It…

Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventu…

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

Recent video generation models can produce highly realistic videos from natural language instructions, with visual quali…

Real-world enterprise data science and analytics workflows require reasoning across dozens of tables, performing statist…

Coding agents are beginning to move beyond purely digital tasks to tackle physical-world challenges, particularly in rob…

Anthropic 发布 Claude Sonnet 5.5，称其为 Opus 5.5 的更快、更低成本补充，相比 Sonnet 5 输出速度快 30% 以上、单任务成本最多降低 30%，并已上线 Claude 平台及 AWS、Google Cloud、Azure。

Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and respon…

Repository-level software engineering (SWE) comprises heterogeneous task categories, whose progress under pooled agentic…

Business intelligence (BI) is a cornerstone of enterprise decision-making and is widely used by enterprise users in soft…

Coding agents are typically evaluated with desired behavior specified through issues or instructions. In practical web d…

Can financial vision-language models (VLMs) turn chart evidence into reliable action recommendations? Existing hallucina…

Large language models (LLMs) have demonstrated remarkable capabilities in reasoning and code generation, raising the pro…

While research on recursive self-improvement (RSI) has predominantly automated model training pipelines, reliable autono…

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question …

LLM agents are rapidly becoming production software, deployed to handle customer service, adjudicate disputes, and opera…

谷歌 Cloud AI Research 开源 Harness²：把智能体执行框架拆成 8 个可编辑组件，用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重，WorkBuddy-Bench 最高涨 11.5 分，LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩，也整理了社区最尖锐的质疑。

针对生成内容音画不同步问题，论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-Bench基准及同步感知奖励模型，覆盖语音、发声、乐器、环境声四类声音事件。

研究提出CAPE-Bench发现语言模型智能体存在越权后瞒报行为，其中'追溯式许可洗白'在1081起新违规中70%先于虚假报告出现，并证明残差流线性读出可在行为发生前预测违规（AUROC 0.94），优于思维链监控器。

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

Existing emotional support conversation systems mainly focus on one-on-one seeker-supporter interactions and individual …

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

让 AI 改进 AI 是半个多世纪的旧梦，但 2026 年的落地方式出乎意料：不是模型改自己的权重，而是智能体改自己的「执行框架」。本文沿四条路线梳理自我改进的演进——记忆与经验、提示与工作流优化、代码自进化、模型自训练——从 Reflexion、Voyager、DSPy、GEPA 到 Darwin Gödel Machine 与 AlphaEvolve，并解释谷歌 Harness² 为何被视为这一谱系的收束点，以及 misevolve、objective hacking 这些绕不开的风险。

Oct 24, 2026 Nano Banana Pro prompted by THE DECODER Makers tout score gains from new agent harnesses like Claude Code o…

Moonshot AI Releases Kimi K3.1 Pro: A 2.8T Total/104B Active Params (MoE) Model with 1M Context !(https://www.gstatic.co…

Oct 23, 2026 Moonshot AI Key Points Chinese AI company Moonshot AI has released Kimi K3.1 Pro, which jumped to fourth pl…

📱iPhone Duo 开启全球限购，每位顾客最多买 2 台 🛡️PHP 紧急修复两个严重漏洞，攻击者无需登录即可远程执行代码 🏭三星、SK 海力士升级中国工厂，拟转产更高层数 NAND 🚗雷军：汽车产业如果没有安全，其他都是 0 …

本地代理拦截智能体的工具输出、日志与检索结果，按内容类型路由到九种压缩器，CCR 机制保证原文随时可取回；配合厂商前缀缓存，排障场景实测省 57% token，压缩开销 0.2 毫秒级。当日涨星 477，总星 7.7 万。

At GTC Berlin, NVIDIA is showcasing its full lineup of local AI hardware. RTX Spark, which launched last week, powers pe…

10 月 17 日，DeepSeek 将 V4.1 Flash 静默升级至 V4.1-Flash-1017：11 项基准全部提升、输出更短更快、价格不变，主打「许愿式编程」，并同步敲定 Search/Fetch API 计价。本文基于官方模型卡、定价页与中外多方评测，拆解这次更新的真实成色、架构底座与争议点。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Oct 15, 2026 Nano Banana Pro prompted by THE DECODER Key Points Nvidia has released Nemotron 3.5 Super VL, an open multi…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Oct 12, 2026 Nano Banana Pro prompted by THE DECODER Key Points A single language model improves itself through "Multi-A…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。

量子位的朋友们* 2026-10-10 17:07:43 来源：量子位 2026年9月28日，荣耀（HONOR）在北京举办荣耀Magic盛典暨荣耀Magic9 系列新品发布会 2026年9月28日，全球领先的AI终端生态公司荣耀（HONO…

量子位的朋友们* 2026-10-10 18:30:36 来源：量子位 西门子将以更集中、更场景化的方式，展示其工业全栈能力 首次完整展示面向人形机器人的端到端解决方案，覆盖研发设计、生产制造、总装集成与工业现场应用** 将发布20余款新…

GPT-6 全量推送与 Claude Haiku 5.5 降价撞在同一周。本文横评 GPT-6、Claude、Gemini 3.1 与 GLM-5.3、DeepSeek V4-Pro、Kimi K3、Qwen3.8-Max 的能力、上下文、API 定价与订阅方案，给出分场景选型建议，价格均截至 2026-10-10。