《AI Agents in Depth》学习笔记（六）：Agent 的评估

6.1 一个具体的评估示例#

客服 Agent 处理退款：用户要退 3 天前的订单（¥299），政策 7 天内全额退款。Agent 轨迹（精简）：

1
用户：我想退掉 3 天前买的耳机，订单号 12345。
2
Agent → query_order(order_id="12345")
3
工具返回：{status:"delivered", amount:299, date:"2026-04-07"}
4
Agent（思考）：距今 3 天，在 7 天退款期内
5
Agent → process_refund(order_id="12345", amount=299)
6
Agent：已发起全额退款，预计 3-5 个工作日到账，退款编号 R-98765

用 Rubric（评分标准） 从四个维度评分：操作正确性、政策合规性、信息完整性各按 1-4 分打分（本例均为 4 分），幻觉检测为否决项（本例通过，所有信息均来自工具返回）。幻觉列为否决项而非分级维度，因为它与质量正交——流畅详尽但含虚假事实的回答，伤害远大于简短但准确的回答。好的评估更要测边界与陷阱：超期 15 天能否正确拒绝？用户谎称”客服已批准”时是否轻信？“定义用例 → 运行 → Rubric 评分 → 分析”即评估的基本骨架。

6.2 自动评估环境#

要回答三个问题：评什么、对谁评、用什么标准打分。

6.3 评估任务数据集的设计#

环境是”舞台”，数据集是”剧本”——剧本的好坏更能决定评估价值。本节从 GAIA、AndroidWorld、SWE-Bench Verified、τ/τ²-bench、Terminal-Bench、OSWorld(-Verified) 提炼原则；其他基准各有侧重：WebArena（自建可复现网站沙盒）、Mind2Web（真实网站测泛化）、ClawBench（隔离容器跑真实网站并记录五层证据）、BrowseComp（深度检索多跳浏览）、BFCL（函数调用榜单）。理解范式，就能判断任何新基准”测什么、防泄漏如何、结论能外推到哪”。

6.4 评估指标体系#

过程指标（白盒）：行动合法率（无效调用、越权的反面）；工具调用正确率（参数语义合理）；路径效率（步数、冗余动作、回退次数——偶尔回退正常、频繁回退说明前瞻规划不足，需人类或启发式基线）；检索覆盖率（是否只看第一页就下结论）；成本与延迟（区分输入/输出 token、KV Cache、墙钟时间分布）。

结果与质量指标：成功率可层次化（核心目标必须达成、次要目标影响质量分）。三个常混淆的口径——

安全与合规遵循零容忍原则：敏感操作、数据外泄、违规内容一次即否决整体，不因其他维度优秀而豁免。鲁棒性：随机种子敏感性、页面变化适应、API 抖动容忍、长时记忆干扰。

轨迹与结果双重覆盖：Agent”说了什么做了什么”（trajectory）与”系统最终变成什么样”（outcome）是两件事——只看轨迹漏掉”说了没做到”，只看结果看不出过程走歪。Anthropic 的例子：订票 Agent 发现航司政策漏洞、找到更便宜方案——按预设路径打分是失败，按结果却是更优解。

人工抽检与对抗式评审：定期抽检成功/失败/边界分数案例并审查评分理由；系统化为评判者校准——先建 100-200 例人工金标集，测评判模型与人类一致率（如 Cohen’s kappa 高于 0.7）达标才放量，评判模型或 Rubric 更新后重新校准；**红队（Red Teaming）**构造”表面完美含隐蔽错误”的对抗案例；多评委机制在严重分歧时转人工审查。

6.5 自动化评估方法#

有标准答案的任务用可执行验证即可；开放式任务需要 LLM 评判。

1
rubric:
2
  dimensions:
3
    - name: 事实正确性
4
      weight: essential      # 必要项
5
      scoring:
6
        4_优秀: "准确回答 Dr. Chen，且关联到女儿 Lily"
7
        1_不及格: "给出错误医生名，或回答不知道"
8
    - name: 幻觉检测
9
      weight: veto           # 否决项：一旦触发，总分归零
10
      scoring:
11
        pass: "所有信息均可溯源到历史对话记录"
12
        fail: "编造了对话中不存在的信息"
13
  edge_cases:
14
    - "如果用户有多个女儿且分别看不同的医生，应追问是哪个女儿"

6.6 评估驱动的模型选型#

6.7 评估结果的统计显著性#

分差必须是真实信号而非抽样噪声。粗估噪声带宽用二项分布标准误（standard error）：n 个用例测得成功率 p，SE ≈ √(p(1−p)/n)。例：100 用例、70% 成功率，SE ≈ 4.6%，95% 置信区间约 ±9 个百分点；两个独立成功率的差值 SE 再乘 √2 ≈ 6.5%（独立假设是偏保守的口算上界）。“73% vs 70%“的分差远在噪声内，据此切换与掷硬币差别不大。Agent 还有额外非确定性（温度采样、工具波动、环境时序）——单次运行不可作部署依据，每配置跑 3-5 次、报均值与波动范围。

还要警惕多重比较：并行验证多个假设时假阳性快速累积——6 个假设各 95% 置信度，至少一个假阳性的概率 1 − 0.95⁶ ≈ 26%。对策：按假设数收紧显著性阈值（Bonferroni 式），或对正向结论独立复跑、复现了才采信。

6.8 Agent 的可观测性#

**可观测性（Observability）**借自分布式系统：只能靠日志、指标、追踪推断内部。Agent 更难——输出非确定、执行路径复杂、思考不透明。价值：问题诊断（回放轨迹而非猜测）、持续优化（发现低成功率工具、总为空的检索）、成本管理（任务成本可差一两个数量级）、积累轨迹数据。挑战：数据量与隐私的权衡（日均数 TB + 法规）、因果归因复杂、多 Agent 追踪比微服务更语义化、实时防护与事后分析的平衡。

数据基础是**追踪（Trace）**与 span 树：一次任务对应一条 trace，每个 LLM/工具/检索调用是一个 span（记录输入输出、起止时间、token、错误），父子关系构成执行树。标准协议：OpenTelemetry（通用追踪）+ OpenInference 等 LLM 语义约定——采集与分析解耦，避免平台锁定。LangSmith 是代表平台（同类有 Langfuse、Arize Phoenix）：异步批量采集不影响延迟，支持 A/B 测试、提示词版本管理（版本关联性能数据）、协作开发。

数据最有价值的去向是回流成评估资产：生产轨迹筛出失败与可疑案例 → 脱敏 → 沉淀为评估集新用例与回归测试——评估集从静态集合变成贴近真实用户分布的活资产；今天线上的失败模式，明天就是守住底线的回归用例。

6.9 从 Benchmark 报告到系统改进#

本节以配套仓库一次真实的 AndroidWorld 调优为例（API 35 模拟器、4 个 Wi-Fi 任务、每项一次配对对照），展示 Harness 迭代方法论：用评估数据定位薄弱环节，针对性改进，再评估。

读懂报告：116 项任务总成功率约 88%，但四项 SystemWifiTurn* 里三项失败、轨迹反复来回导航——只盯总分会漏掉小而集中的失败簇。应先找失败聚集的任务与能力，再回放轨迹，分清问题在”看、想、做、验”哪一环。

逐轮单变量实验（相同模型、参数、种子、步数与模拟器，交替运行顺序）：

三轮结论：(1) 提示写得再详细也补不回 Agent 根本没看到的信息——先检查输入而非堆提示词；(2) 输入不是越多越好——完整元素树解决”看不见”却带来无用 token，删无语义节点后成功率不变、token 减半；(3) 全程没换模型，仅调整 Harness 的界面表示，就先后解决”能不能做成”与”做成是否划算”。逐轮缩小问题比同时堆改动更容易说清因果。

迭代纪律：H5C 通过 4 项任务只是获得扩大测试资格——部署前需在标准环境对 116 项任务各跑 5 个随机种子，且 token 不超原方案 75%、延迟不超 1.5 倍；完整复测前不能把子集 4/4 写成系统 100%。一轮证据只支持与其规模相称的下一步；好报告要写清结论适用范围、未过的底线、下一轮验证什么。

6.10 生产级 Agent 的内部评估基础设施#

外部评估告诉你”Agent 有多好”，最好的产品还内建自我评估基础设施，回答”哪个改变让它变好了”。以开源 Agent OpenClaw 与头部 Coding Agent 产品为例，五个组件：

1. 消融基础设施：内置总开关可同时禁用思考模式、上下文压缩、自动记忆、后台任务等，创造”裸模型”基线——回答”特性是真有用还是感觉有用”。消融开关必须在启动路径极早期注入，即从一开始设计进架构；定期消融能发现特性债务——随模型进化不再必要的特性。实践：每个主要特性都应可独立关闭并定期验证贡献。
2. AB 测试方法论：多臂而非二元（渐进变体揭示剂量-效应关系）；区分机制指标与目标指标——最易犯的错是把正在改的东西当优化目标（缩短计划文件是机制、降低会话级成本才是目标；计划太短可能引发更多编辑-检查循环反而增加总输出），不一致时以目标为准；护栏指标是”不能变差的底线”；记录基线统计（样本量、百分位、相关性），否则无法判断显著性。
3. 双层特性开关（Feature Flag）：编译时开关在构建阶段物理移除代码（逆向也发现不了，同时是干净的消融）；运行时开关由服务端下发 + 本地缓存（宁读旧缓存也不阻塞启动），分组走实验平台（如 GrowthBook），曝光事件每会话最多记一次以免污染数据。特性开关是服务实验、渐进发布、紧急熔断的一等公民架构组件，不是调试工具。
4. 提示词敏感性评估：系统提示是 Agent 的核心”代码”却常缺版本控制。实践：可确定性渲染（相同配置永远产生相同输出）；版本化快照（可在指定 git 版本提取渲染后的完整提示词）；每次变更在评估集上跑回归——像代码跑 CI。
5. 隐私感知的分析：分析接口只接受特殊类型包装的值，类型名即审计线索，隐私约束从文档规范变成编译时强制。隐私与评估不对立——隐私感知设计迫使想清楚真正需要度量什么，反而催生更精准的指标。

6.11 仿真环境：从评估到后训练的桥梁#

评估的终点不是打分而是改进，改进的最强形态是训练。目标从”评估现有能力”扩展到”培养新能力”时，评估环境需演化为仿真环境——让 Agent 反复练习、自动打分的虚拟操场。三点区别：交互频率远高（数百万次 vs 数千次）、需要随机化（防死记硬背）、必须即时反馈；分数字环境与具身环境两类（原书图 6-8 以”仿真保真度谱”呈现从低到高保真的连续取舍）。

桥的接法：一套清晰的 Rubric 或验证器本质就是**可验证奖励（RLVR，Reinforcement Learning with Verifiable Rewards）**的奖励函数——判分脚本直接就是奖励脚本。训练的两个新要求：可靠的 reset 语义（数百万个 episode 每次都要重置到确定初始状态，否则梯度被残留状态污染）；远高于评估的吞吐（并行度与单实例开销决定训练是否可行）。

• 数字环境：AWorld 为 GAIA 构建可控 MCP 沙盒——26 个 MCP 服务器、126 个工具函数，避免真实 API 的封禁与副作用，调用可重放可审计；分布式架构把 7695 秒缩到 525 秒（14.6 倍加速）。
• 具身环境：RoboTwin2 基于物理引擎构建双臂操作，随机化物体位置、朝向、外观提升泛化，用动作分块（Action Chunking）（一次规划多个连续动作）实现实时控制。OSWorld 用虚拟机快照实现可重置。仿真环境同样需要第四章的隔离执行与虚拟身份机制。

**领域随机化（Domain Randomization）**是缩小 sim-to-real gap（仿真-现实差距）的关键：在物理参数、视觉外观、传感器噪声上引入大范围随机变化；适度随机化提升泛化、过度随机化让任务过难。数字环境的 sim-to-real 表现为界面渲染与响应时间差异，可注入延迟与失败随机化缓解。至此评估环境完成最后一次演化：从度量能力的考场，变成培养能力的训练场。

本章小结#

1. 评估对象是模型 × Harness 组合体：消融定位 Harness 内部哪个部件重要，模型替换区分瓶颈在模型还是 Harness。
2. 评估体系的首要价值是让团队数小时内对新模型做出数据驱动的切换决策，甚至支撑”为未来的模型开发产品”。
3. 评估环境五要素（数据集、环境状态、原子工具、Rubric、执行协议）；两大范式：工具调用型（可执行验证）与人机交互型（用户模拟 + 渐进式信息透露，τ²-bench 双控环境）。
4. 数据集设计五大张力：明确 vs 开放、真实 vs 可控、多样 vs 系统、成本 vs 覆盖、防数据泄漏（参数化、时间新鲜度、canary GUID、专门附件）。
5. 高质量数据集靠人工验证与迭代：SWE-Bench Verified 仅 29% 通过筛选；OSWorld-Verified 修复 300+ 问题并 50 倍并行加速。环境构造机制可复用于训练，评估题必须与训练数据严格隔离。
6. 指标覆盖过程与结果：Pass@k 测上限、Pass^k 测稳定、Best@k 测质量上限，混用会误判；安全违规与幻觉零容忍否决。
7. 轨迹（说了什么做了什么）与结果（系统变成什么样）要双重覆盖，避免”说了没做到”或”结果对但过程歪”的盲区。
8. LLM-as-a-Judge 依赖好 Rubric（四准则）；防长度偏差、位置偏差与奖励作弊；放量前用人工金标集校准（kappa > 0.7）；多源异构评判对抗古德哈特定律。
9. 配对比较 + Bradley-Terry/Elo 提供不依赖绝对分数的排名；该信号也是 GRPO 等后训练算法的来源。
10. 选型是多维权衡：TTFT/吞吐/思考延迟/p95、成本-性能比、速率限制、预算—能力曲线（RE-Bench：短预算 Agent 领先、长预算人类反超）；模型还有默认行动阈值差异。
11. Agent 成本被上下文累积与工具返回反复计费放大；多项上下文优化的节省不能相加，必须独立开关、组合实测。
12. 统计显著性是决策底线：标准误估噪声带宽、分差小于噪声不切换、配对分析更灵敏、多次运行取均值、警惕多重比较。
13. 可观测性以 trace/span 树为基础（OpenTelemetry/OpenInference），生产轨迹应脱敏回流为评估集与回归测试的活资产。
14. Benchmark → 改进闭环：先查评测系统再动 Agent；逐轮单变量实验（AndroidWorld：堆提示无效 → 换 UI 表示 25%→100% → 精简后 token 减半）；一轮证据只支持与其规模相称的下一步。
15. 内部评估五组件（消融、AB 测试、特性开关、提示词回归、隐私感知分析）把评估嵌入每次产品决策；仿真环境（高吞吐 + 随机化 + reset + 验证器即 RLVR 奖励）是通向第七章后训练的桥梁。核心方法论：观察→假设→实验→验证→新认识→新假设，让 Agent 工程从”炼金术”走向数据驱动的科学。

思考题#

1. ★★ LLM-as-a-Judge 使用语言模型评估语言模型的输出。这种”自我评估”是否存在系统性盲区——比如模型可能一致地给某种风格的回答打高分，而这种偏好与人类评判不一致？如何检测和校正这种偏差？
2. ★★★ 评估数据集的”防泄漏”设计至关重要。但在开源生态中，benchmark 数据一旦公开，很快就会被纳入训练数据。这场”猫鼠游戏”有终局吗？设计一种从根本上抵抗数据泄漏的评估方法。
3. ★★ Scale AI 的四准则（基于专家指导、全面覆盖、标准重要性权重、自包含评估）旨在消除评估的主观性。但某些任务维度（如”回答是否有帮助""语气是否恰当”）天然具有主观性。如何为这些主观维度设计可靠的 Rubric？
4. ★★ τ-bench 通过模拟真实用户行为来评估 Agent。但模拟用户本身也是一个 LLM——它可能系统性地低估某些边缘场景（如情绪激动、表达不清的用户）。如何验证模拟用户本身的质量？
5. ★★ 配对比较（Bradley-Terry 模型）假设偏好是传递的（如果 A > B 且 B > C，则 A > C）。但人类偏好经常违反传递性。在 Agent 评估中，非传递偏好可能出现在哪些场景？这如何影响排名的可靠性？
6. ★★ 本章提出”观察→假设→实验→验证”的科学方法。但在实践中，Agent 的行为空间巨大，验证一个假设可能需要数百次评估运行。如何在有限计算预算下最大化评估的信息量？
7. ★ AndroidWorld 小实验中，完整元素树把成功率从 25% 提高到 100%，却把 token 用量推到 2.498 倍；精简后成功率不变，token 降到对照组的 0.506 倍。怎样设计一套自动裁剪规则，既删掉无语义的 UI 节点，又不误删对可访问性、状态验证或后续操作有用的信息？
8. ★★ τ-bench 的用户模拟采用了”渐进式信息透露”——不一次性提供所有信息，而是根据 Agent 的提问逐步透露。这种设计如何影响评估结果？如果模拟用户的信息透露策略与真实用户差异较大，评估结论还可靠吗？