人工标注跟不上迭代速度，用强模型当裁判评检索与生成质量——评分式与对比式两种裁判、位置与长度偏差的矫正、与人工标注的一致性校准，以及忠实度评估的落地实现。

传统断言测试在非确定性的智能体上失灵，本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系，以及评测集建设、Judge 校准与回归门禁的工程实践。

「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集，一切调优都是感觉。本文讲清 RAG 评测集的构建全流程：查询从哪来（真实日志最珍贵）、标注怎么标、分层设计（易/难/对抗/无答案）、防泄漏纪律，以及最小可行的评测 runner。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。