Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

Agent 的行为是多步、不确定、路径不唯一的，传统「对一次输出」的评测方法失效。本文给出评测分层框架、评测集构建方法、三种判分方式与 LLM-as-judge 的偏差缓解，最后把评测接进 CI。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

Leaderboard 分数与真实体验错位，主要来自四类坑：数据污染（考题漏进训练数据）、面向榜单的针对性刷分（Goodhart 定律）、评测方法本身不稳（提示词、判分与统计方差）、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制，并给出读榜时的 7 条防坑检查清单。

每个 LLM 基准都逃不过同一条生命周期曲线：出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点，并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

系列第 ① 篇，对应技能地图第 4 格「评估驱动开发」。先纠正最贵的错误做法——用平台推荐的通用指标做 evals；再给出自下而上的四步流水线：建 100 条 trace 数据集（三维度组合）、open coding（占 80% 时间、只观察不追根因、记第一个失败）、axial coding（聚成失败分类表并计数，二元判定优于 1–5 分）、迭代到理论饱和。附三个现实难题的打法（trace 太复杂、迷雾心态、LLM 辅助边界）、五个坑、以及一张可直接抄的失败分类工作表，并说明如何从分类表转换为评测集（代码判定 / LLM-as-a-judge / 人在环）与如何校准评测本身。

SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式，给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器，并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。

Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the ba…

Architect Financial Technologies 发布 Liquid Inference，一个 LLM 推理市场路由器，每次请求通过实时拍卖由各供应商报价竞价，买方支付满足规则中的最低报价，开发者只需替换 base URL 即可让供应商在价格上竞争。

Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…

Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…

LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable c…

LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation setti…

Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is …

Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…

Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…

Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…

We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how schemi…

Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…

We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online set…

We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while l…

Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through …

Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-b…

AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…

IT之家 9 月 21 日消息，AI 评测机构 Vals AI 利用游戏《我的世界（Minecraft）》对 OpenAI 最新大模型 GPT‑6 Astra 开展长时自主游戏测试，全程在 Twitch 直播，总测试时长达到 141 小时。…

IDC《中国企业级通用Agent产品技术评估》让中国电信 TeleAgent 以 6.85 分位列第三。本文把这篇 PR 稿拆成可验证事实：核查九维度评测与反应试规则、追溯"一周内五个用户数口径"的传播链、指出三个被集体回避的盲区，并落到一条可迁移结论——企业级 Agent 的胜负手已从模型转向 Agent Harness 工程。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

FrontierMath 发布时最好的模型不到 2%，一年半后最高分冲到约 52%；可同一时期，GSM1k 证明部分模型的高分有背题成分，FrontierMath v2 修正了四成多题目，25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波，以及 2026 年评测范式向证明题与开放问题的转向。

★27,270、Apache-2.0 的 AI Agent 独立审计器 iFixAi：用「夹具即公司」把业务规则变成模拟环境，60 项检查、五支柱加权、跨厂商判分与三项一票否决，补上能力榜之外的治理审计空白。拆解 structural 探针、零容差否决、manifest 可复现性与真实边界。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

2024 年 8 月，OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified；2026 年初，还是 OpenAI，宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷，且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相，以及读代码基准分数的正确姿势。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

Google 联合多校开源 RRSI 框架，在冻结 LLM 前提下自动进化智能体 harness，并用正则化抑制基准过拟合，8 项基准最高提升 14.1 分。

9月16日，稳准智能联合清华大学发布新一代数据大模型 LimiX-2，模型参数规模提升至400M。]

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Decoder hidden states from different layers of large language models (LLMs) often encode complementary information. Howe…

Black-box optimization (BBO) arises in many scientific and engineering problems where objective evaluations are expensiv…

Calibration of language models -- the alignment between expressed or implicit confidence and empirical correctness -- is…

GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…

If AI lab PrismML isn't on your radar yet, it should be.]

Large language models (LLMs) provide a flexible interface for long-horizon robot planning, but generated plans often fai…

Test-time scaling can improve large language model reasoning by generating and combining multiple candidate responses. I…

Current Mixture-of-Agents (MoA) paradigms generally treat query routing and agent fine-tuning as separate processes, lim…