Agent 的评测需要工具链：promptfoo 是开源评测框架的代表——用 YAML 定义测试集、断言与评分器，命令行批量跑，接进 CI。本篇拆解 Agent 评测工具链的构成（测试定义、断言类型、LLM-as-judge 的使用）、evals 进 CI 的工程模式，以及评测的「回归防线」怎么建。

AI 安全的工具生态正在开源社区快速成形：NVIDIA 的 Garak、微软的 PyRIT、Anthropic 的评测框架——红队工程师的瑞士军刀已经组装完毕。盘点主流工具的能力边界，以及「工具好找、用得好的很少」的现状。

AI 应用在企业里铺开，CISO 的防护对象变了：模型、提示词、Agent、向量库——但这些新物种的威胁模型与传统安全有多少是通的？给安全从业者转型 AI 安全的知识迁移地图：哪些要带、哪些要学、哪些要放下。

传统断言测试在非确定性的智能体上失灵，本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系，以及评测集建设、Judge 校准与回归门禁的工程实践。

CrewAI 是最流行的角色化多智能体框架：把协作建模成「团队」——每个成员有角色、目标与背景故事，任务被分配、依赖与流转。本篇拆解它的核心抽象（Agent/Task/Crew/Process）、两种执行模式（顺序与分层）、Flows 的确定性补充、以及「角色扮演何时有效」的实证边界。

Google 的 Agent Development Kit（ADK）把 Gemini 的能力包装成一套多智能体开发套件：多种智能体类型、双向的 A2A 与 MCP 支持、评测与部署一体。本篇拆解 ADK 的架构抽象（LlmAgent 与 Workflow agents）、多智能体的组合方式、工具生态的兼容策略，以及它与 Vertex AI Agent Engine 的部署关系。

LangGraph 是 LangChain 生态里最流行的 Agent 编排框架：把智能体的控制流画成显式的状态图。本篇拆解它的核心抽象（StateGraph、节点与边、reducer）、checkpoint 持久化与断点恢复、human-in-the-loop 中断机制，以及它与朴素 Agent 循环、其他框架的取舍。

Anthropic 把 Claude Code 的内核开放为 Claude Agent SDK：一个以「Claude Code 的能力」为基座的通用 Agent 框架。本篇拆解它的设计（Agent 循环与工具集的内建、子智能体、Hooks 与权限体系）、它证明的「内核复用」路线、以及与 OpenAI Agents SDK/LangGraph 的定位差异。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

paperclipai 开源的智能体编排控制平面 Paperclip（当日涨星 +2,589、★87,097、MIT）：把 Claude Code、Codex、Cursor 等 agent 变成有职位、汇报线、预算与审批的「公司员工」。拆解心跳执行模型、单指派原子 checkout、MCP 工具网关与任务看门狗，附五个落地场景与可复现命令。