Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

9月16日，稳准智能联合清华大学发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。]

文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。

微调不是万能钥匙，但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调，再用 LoRA 原理加 LlamaFactory 三步实战，带你不改代码微调出自己的模型，并给出常见坑与最小评测法。

Agent 工程系统学习第 4 章：记忆系统解决跨会话问题。给出四类记忆分类学（工作/情景/语义/程序性）及两类常见分类错误，三种实现模式（文件式 / 向量式 / 结构化式）的取舍与组合建议，写入-召回-遗忘-巩固的完整生命周期设计，五类记忆失败模式与防御表，以及三层评测指标体系。

DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘，其DSec沙盒基础设施每天服务约300万个沙盒，支撑从V3.2到V4的Agent训练、评测与数据预处理，计划将Agent运行环境数量和种类扩充成百上千倍。

田, 晏林* 2026-09-26 17:07:41 来源：量子位 Simate将训练、推理与评测全流程接入自研Infra，通过极致的任务编排与资源调度，同时并行推进数十条相互独立的研究路线。 Jay 发自 凹非寺 量子位 | 公众号 Q…

YC 背景团队开源的计算机使用代理基础设施 Cua（当日涨星 1,112、★24,318、MIT）：Driver 提供带 7 类 oracle 证据链的 GUI 工具面，Sandbox/Fleet 提供可复现的隔离电脑，Cua-Bench 提供评测与轨迹，2.8 MB 的 CUA-S1 打分器替代部分大模型调用。含五个落地场景与可复现命令。

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

76k 星开源项目 Impeccable（当日涨星 +1,171、Apache-2.0）：jQuery UI 作者 Paul Bakaus 给 AI 编程智能体的设计技能层。核心判断是「禁止清单只会迁移模型」，改用 61 条确定性检测规则 + 双盲评审子代理 + 跨会话记忆 + 编辑时钩子。拆解多宿主编译架构、反吸引子机制、8 道 gate 与 Live Mode 的取舍边界。

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

选模型 API 的本质是选供给关系，不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图，逐条展开七项评估清单，并给中小团队一条从网关起步的务实路线。

Agent 工程系统学习第 10 章：可观测性让任何一次 Agent 行为都可事后完整还原。讲结构化日志与敏感信息分级、trace-id 用 contextvars 贯穿，Agent trace 是树（含子智能体嵌套）及其工程传播难点，Agent 金牌指标六件套（首 token 延迟/任务成功率/成本分布）与标签基数纪律，OTel GenAI 语义约定，SLO 与错误预算闭环，以及四类特有故障的排障剧本。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

量子位的朋友们* 2026-09-26 19:49:43 来源：量子位 “世界模型”开始成为具身智能跨越商业化“奇点”的新叙事。 当下，具身智能的商业化路线正撞上一堵墙。 北大与BeingBeyond联合发布的BeTTER基准（ECCV …

把吴恩达 2026 年 8–9 月连发五封信构建的《AI 工程技能地图》从"看懂"变成"照做"：给出 20 格可打分自评表（四大顶层能力 × 全部细分项，每格配一句过关判定问题），逐格拆解"学什么—怎么练—什么算过关"，并附三条不同起点的学习路径、一张 12 周计划表、三个必做练手项目与七个反模式清单。全部细项定义来自吴恩达原文，判定问题与计划表为本文延伸并已标注。

拆解 GitHub 14.4 万星开源技能 Ponytail（MIT，2026-06-12 创建）：7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程，以及官方 agentic 基准（−54% 代码 / 100% 安全）与 JetBrains 80 组配对实测（−15.4% 代码 / −10.3% 成本，p=0.004）的三次基准对撞；附设计系统、小模型、指令层三大边界与 6 条落地清单。

9月16日，B站「AI无限竞技场」正式上线，首期大模型测评榜单同步公布。]

· DeepSeek 内测 V4.1 Flash · 两部门要求车企定期报告供应商账期，重点企业每年接受评估 · 曝微信 PC 版接入 AI 助手「小微」，可操作聊天与小程序 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更…

IT之家 9 月 20 日消息，中国信息安全测评中心、国家保密科技测评中心今日发布了安全可靠测评结果公告（2026 年第 3 号），其中龙芯 3A6000 (C)、龙芯 3C3000 和鲲鹏 950 中央处理器通过认证， 安全可靠等级达到 …

梦晨* 2026-10-02 15:34:15 来源：量子位 让每一次请求选对模型，让每一次反馈都成为下一次更优、更省的选择 允中 发自 凹非寺 量子位 | 公众号QbitAI 不是所有任务都需要最强的模型。让每一次请求选对模型，让每一次…

📱小米 18 Pro 系列发布，平板、穿戴与三筒洗衣机同场上新 🤖DeepSeek 发新论文，公开 Agent 训练沙箱 DSec 🍎iOS 27.2 Beta 2 加入运动数据限制，可阻止「摇一摇」广告跳转 🚗蔚来 ES9 交付达…

激活参数仅27B]

当大模型开始拥有一双真实的手 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

中国电信，TeleAgent]

· 集邦咨询预计 iPhone Duo 今年出货 500 万台，占折叠屏市场近四分之一 · Kimi K2.8 Preview 全量上线，所有会员开放 100 万上下文 · Grok 4.7 延期，马斯克称模型会在难题上过早放弃 #欢迎关注…

IT之家 9 月 12 日消息，Anthropic CEO 达里奥 · 阿莫迪（Dario Amodei）今日发文，称人工智能行业应当放缓发展速度。 阿莫迪表示，从 2026 年夏季开始，AI 协助构建下一代 AI 的能力快速演进， 若 不…

真正属于普通人的 AI 视频时代，才刚刚开始 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

OpenAI研究院人均带3个AI实习生

Agent 任务是多轮模型调用加失败重试，token 成本数倍于单轮对话，计费模式因此成为行业难题。本文梳理按 token、订阅、按结果、按价值分成四种模式的风险分配，分析毛利结构，并给出买方评估供应商的三个关键问题。

Agent 工程系统学习第 11 章：Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治（模型无法在协议层区分指令与数据），给出三层纵深防御（减少注入面 / 最小权限让注入做不了坏事 / 检测止损），OWASP Agentic 2026 风险速览，认证-权限域-资源归属-委托的四层权限模型（L3 与 L4 是重点），多租户隔离清单，以及可执行的 Agent 安全红队清单。

AI 原生影视公司 Utopai Studios 的自研视频生成模型 Utopai X 在 Artificial Analysis 带音频文生视频盲评榜位列全球第二，是该榜排名最高的美国公司模型，公司模型与平台服务于实际电影和剧集生产流程。

Matt Pocock 开源的 Agent Skill 技能包（当日涨星 +888、★273,816、MIT）：27 个技能把「对齐→规格→拆票→TDD 实现→双轴评审」固化成智能体无法跳过的流程。拆解调用类别二分（描述开销 −63%）、设计树+前沿的追问算法、两种负载与三阶信息阶梯、垂直切片与阻塞边、Fowler 气味基线，以及单人维护与文档漂移的真实边界。

Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。

· Google Gemini 安全测试越界，误攻 3 家真实企业 · 长鑫存储 G5 DRAM 平台量产，单片晶圆裸片数提升至少 50% · 智谱 MaaS 平台将上线数据内容不留存机制 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：i…

TypeSafe AI 的 Jev 全面开放，注册即得 5 美元额度（约 1.2 亿输入 Token），输出 Token 永久免费。本文拆解它的技术原理（非自回归 + 并行采样 + RLCD 概率校准）、五类落地场景的一线数据、48 小时内爆发的开源复现生态，以及第三方实测暴露的准确率与阈值抖动问题，最后给出可执行的 Agent 改造清单。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

Cloudflare 开源其漏洞发现流水线（VDH）的种子 security-audit-skill（GitHub 当日涨星 3,606、★10,418、MIT）：六阶段多智能体审计，覆盖台账 + 对抗验证 + 字段级证据契约。本文拆解其架构数据流与五类落地场景，并给出社区盲测数据（中位精确率 90%、依赖 CVE 覆盖 0%）与使用边界。

九大空间测试10B规模通用模型中8项第一]

一篇读懂 2026 年最容易被混为一谈的一对概念：RSI（递归自我改进）改进的是自己的"改进能力"，打在权重与 AI 研发流程上、跨用户且不可逆；Agent 自进化不重新训练模型，靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图（更新基质 × 持久化时长）、三个分辨开关（数阶数 / 看基质 / 清空记忆测试），以及风险的两本账（RSI 是治理问题，自进化是供应链工程问题，已有 36.82% 技能含安全缺陷的审计数据）。本文同时为「一叶一世界」栏目开篇。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

一份关于递归自我改进（RSI）的 2026 年全景深度研究：从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代，从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限，区分"主机节点接管已发生"与"全球接管仍是预测"三层口径；并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭，以及一份"协议 10 年衰退概率 48%–62%"的现实账。

2026 年 9 月 15 日凌晨，Opus 5.2 在 Claude Code 中被曝灰度测试，"RSI 真来了？"随即刷屏。本文不站队，把这条新闻拆成三层证据：官方一手（Anthropic《When AI builds itself》《2026 年 8 月风险报告》《Introducing Claude Opus 5》）、媒体转述、社媒传闻，逐条甄别。结论：Opus 5.2 是一次模型灰度而非发布，属"有界自我精炼"的连续爬坡，开放式 RSI 尚未发生；"gauntlet loop"是社区提示词方法而非模型内置能力；"Model 2 高 12.5 分"与官方"增幅不大"口径冲突；"替代 85% 研究团队"溯源到社媒，与官方"18 名受访者中仅 1 人认可"直接矛盾。文末给出"三层证据法"与三个必问问题，并指出真正该盯住的是"智能体能力与验证能力之间的差距"。