《AI Agents in Depth》学习笔记（八）：Agent 的持续进化

8.2.1 将经验沉淀为知识#

最轻量的方式：把反复出现的经验整理成可检索知识文档。与第 3 章共享存储检索技术但目标不同——“航空公司要求特殊餐食提前 24 小时预订”是领域知识，“订票前先检查特殊餐食截止时间”是行动经验。

原始轨迹长而嘈杂，系统应保留三层数据：不可变原始轨迹（审计）→ 单次运行分析（成败与候选教训）→ 跨轨迹归纳的正式 Markdown 文档（适用场景、推荐策略、禁止做法、例外条件、证据来源、最近验证时间）。这与 User-as-Code 同为两阶段思想：先存证据、再离线生成可变知识，避免偶发成功立即改变 Agent。有迁移价值的内容来自对照而非摘要：成功轨迹做了什么、失败轨迹缺什么、策略在哪些环境版本有效。

五步提炼管道：存不可变轨迹与环境结果 → 单次结构化分析 → 按任务族聚合、为候选规律建”支持/反驳”证据表 → 达支持门槛才写正式文档 → 在未参与提炼的新任务上测迁移。GAIA（多步骤问题基准，像试卷）+ AWorld（执行环境，像考场）的例子：先由环境验证器标记成功/部分成功/失败再比较同族路径——成功轨迹出候选策略，失败轨迹出排除性知识，部分成功定位”哪段有效”。Reflexion 式反思可提候选，但反思本身不是证据：只有与环境结果相符、跨轨迹支持、在新任务显示正向迁移的内容才进正式文档。（实验 8-2：对照无经验/单轨迹摘要/跨轨迹文档三组，学习集与迁移集不重叠；一次偶然成功即升正式知识或文档不可追溯，均不通过。）

8.2.2 将经验写成指令#

知识库是参考资料，Prompt 与 Skill 具指令性。当多条轨迹反复揭示同一策略错误且可被语言清楚表达时，将其从”可参考”升级为”应遵守”：全局规则进系统提示词，领域流程写成按需加载的 Skill。

Karpathy 称此为系统提示学习（System Prompt Learning）：预训练学知识、微调塑习惯，人类还有第三种学习——想通方法后用语言提醒未来的自己；缺此”记事本”的 LLM 像《记忆碎片》主角。它与强化学习都从经验改进行为，但前者编辑文字、后者梯度下降改参数。实例：当时 Claude 约 1.7 万词系统提示专门要求字符计数问题先逐项编号显式计数（应对”strawberry 有几个 r”）。带证据的诊断是比标量奖励”更高维的反馈通道”，数据效率更高；但信息丰富不代表正确——同一条意见可能只适用于一个客户或旧版政策，仍需聚类、作用域判断与回归测试。

自动优化路线：DSPy 把多 LLM 调用的程序视为可优化对象、在开发集搜索指令与示例；OPRO 让 LLM 依历史提示与得分继续提候选；GEPA 用失败轨迹的反思生成互补候选——均面向离线批量优化。生产中的最小 diff 更像持续维护：先离线搜好初始版本，再逐例补丁维护长尾规则。

Skill 学习同理但更局部（按需打开的岗位操作手册）：候选 Skill 应含何时加载、前置条件、步骤、已知陷阱、验证方法与来源轨迹；先搜库中近似能力、相同流程优先局部 patch，避免堆满名异实同的手册。Anthropic 的 Skill Creator 提供”起草—测试—评价—修订”循环，难点仍在触发证据、冲突处理与回归。（实验 8-3：初始/自动候选/人工调优三组对照；发布门槛=补丁非空+来源可追溯+边界集改善+保留集不退化，全过也只到 release_to_canary。）

8.2.3 将经验写成程序#

稳定、重复且可验证的操作应编译为工作流、工具或 Harness 代码，让一次探索变成可重复执行的程序。可修改对象四层：操作层（浏览器轨迹编译为参数化工作流、API 适配器）、控制层（路由、重试、熔断、上下文压缩策略）、验证层（参数检查、状态验证器、回归测试）、架构层（增加 Reviewer Agent、改规划-执行信息流）。

浏览器工作流（类比宏录制：首次发邮件靠观察—思考—行动找控件，之后只有参数不同）的生命周期六步：

1. 捕获轨迹：记录动作、参数、URL 与 XPath/aria-label 等定位证据——定位只用于找元素，不能证明任务完成；
2. 参数化：把字面量识别为 {recipient}、{subject} 等模板变量;
3. 状态检查：动作加执行前/后检查，工作流加最终状态检查（如”已发送列表出现新邮件”）；
4. 候选验证：首次成功只生成 candidate，须在重置沙盒中完整回放、全检查通过才 validated；有副作用且无安全重置回调的只能留候选区；
5. 匹配与回放：按意图匹配、填新参数、Playwright 直接执行，不逐步调 LLM，但仍等元素并做全部检查；
6. 失效与重学：元素找不到、检查失败、Schema 变化时立即停止，旧版移入 invalid 区，回退完整 Agent 重新探索。

PreAct 中此类程序在重复任务上取得 8.5–13 倍端到端加速；关键结论：流程记忆必须同时具备动作前验证、动作后验证和存前独立验证。

自我修改不是进程覆盖自身，而是可审计的软件发布：从稳定版建候选分支，生成最小补丁，依次过静态检查、单测、安全扫描、失败轨迹重放、旧任务回归，再灰度（第 5 章给能力，本章给由经验触发、被验证闭环约束的方法）。每个修改请求还应是可证伪的变更契约：失败证据、根因、归属组件、候选修改、预期修复、可能受损的既有行为及双向验证用例；Agentic Harness Engineering 概括为组件、经验、决策三层可观测性——编辑前声明影响预测，由下一轮结果验证。候选生成器的输入除失败案例外，还应含必须保留的成功行为与此前被拒的修改记录（Self-Harness），构成有边界的候选空间。

工具创造同协议。Alita 案例：Agent 要从 YouTube VR 视频找恐龙首次出现后提到的数字，发现缺字幕能力后搜索并测试 youtube-transcript-api、封装成新工具得到答案 100000000；过安全扫描、功能测试与复用验证才入能力库。（实验 8-5：由多条”retryable=false 仍被连续调用”轨迹定位到 retry_policy.py，先提交影响预测再输出最小 diff、只写隔离候选目录；生成补丁的 Agent 不得修改稳定代码、验证器、审计日志与批准自身发布的门槛。）

8.2.4 将经验写入参数#

影像理解、语音韵律、消除模板化”AI 味”、长程规划等难以外部符号化的高维能力，必须后训练进参数。是否参数化不由任务稳定性单独决定：稳定性影响更新频率与成本，表示性质才决定载体；反之，长期稳定的转账规则也不应只靠参数记忆，仍需代码兜底。经评价的生产轨迹转训练数据：示范→SFT、偏好→成对数据、可靠环境奖励→RL；训前去隐私、滤错误轨迹、留独立回归集，训后查遗忘与安全对齐。参数常与外部方法协同：偏好训练塑语气分布，Prompt 定品牌身份，用户记忆适配个人偏好。

8.2.5 从更新产物到更新”更新方法”#

另一条正交轴：优化的是产物内容，还是产生、管理、验证产物的方法。搜索尺度五层：单条规则/记忆 → 结构化上下文 → 工作流 → Harness 代码 → 优化器代码（不是五种新载体，而是五种搜索尺度）。

• 最内层只改产物内容，易归因回滚，是默认选择。但反复重写整份 Prompt 会退化：细节在多轮改写中消失、约束被合并成过度抽象原则。Agentic Context Engineering（ACE）把上下文维护成带稳定标识符的条目集合，生成、反思、整理模块提增量更新，确定性逻辑合并去重——“最小 diff、保留来源”的研究实例。
• Meta Context Engineering（MCE）拆内外双循环：内层在给定管理方法下优化上下文产物，外层依多轮执行结果修改搜索、选择、过滤、格式化操作本身——即学习”如何管理上下文”。
• 更外层：AFlow 把多 LLM 调用的工作流表示为代码图、用执行反馈搜索节点与控制流；Meta-Harness 让 Coding Agent 读候选 Harness 的源码、分数与轨迹，搜索信息如何存储、检索、呈现的代码。

层级并非越高越好：越外层候选空间越大、评估越贵、归因越难。可定位到单一组件的故障优先局部补丁，局部修改长期无效才上升层级；无论到哪层，评价器、权限边界与留出测试必须在可修改范围之外——搜索空间越大，可信根越重要。（实验 8-6：把全书与 Hermes 源码交给 Hermes 自主”阅读→对照→选题→修改→验证”；它选择把执行结果整理为保守学习信号并改源码补测试，前三轮独立审查因不一致拒绝、意见作为下轮学习信号，第四轮通过——证明能在外部验证约束下完成一次自我更新，不证明下游成功率提升。）

8.3.1 从问题定位到经验沉淀#

同一表面问题可能需要不同修改：幻觉可能因知识库缺事实、也可能因 Prompt 没要求引用；虚假承诺可用指令纠正、也可由 Harness 强制回复与工具状态一致性检查。应先定位根因，选最小、最易验证回滚的对象；证据不足的偶发故障继续积累样本。载体随证据升级：新策略先作经验文档，多案例验证后升为知识，再按性质沉淀——可语言化规则成 Skill，步骤稳定无需语言理解的编译成工具代码，反映广泛隐式决策能力的进后训练。

8.3.2 验证、发布与回滚#

一切修改先产生候选：知识测检索后新任务表现，Prompt/Skill 查边界案例与旧任务回归，程序在沙盒测试，参数查遗忘、安全与分布外任务；通过后仍灰度发布，关键指标恶化自动回滚。

分层评估指标（表 8-3）：

长期评价同时观察五类结果：回退（与旧经验冲突、旧案例退步）、泛化（未覆盖场景的提升）、Token 效率、安全性（规则、隐私、拒绝边界是否漂移）、长期工程质量（维护复杂度、架构一致性、向后兼容）。只修当前失败却在别处退化，不是成功的持续学习。

8.3.3 可验证闭环的边界：当”完成”不等于”进步”#

闭环在 Coding、工具调用、状态变更任务上最易成立（反馈快且确定）；开放式科研、战略规划则评价信号慢、答案不唯一，研究品味与长期价值难写成即时分数——Harness 可能流程完整，却只稳定产出”像成果的东西”。自动科研压力测试（Trehan 与 Chopra）：四次端到端尝试三败一成，问题三类——实现漂移（方案变难即退回训练数据中熟悉但偏离假设的实现）、认识论上的过度乐观（把噪声解释成发现、忽略阴性结果）、隐性判断力不足（不知哪个基线重要、何时放弃假设）。对策是改变证据与监督结构，而非换更会写论文的模型：

• 结论与证据分离：引用、数字、方法、结论分别记证据来源（ScientistOne 的 Chain-of-Evidence 提高可追溯性，但不保证问题有价值）；
• 保留负面结果：失败实验与被拒候选写入不可变日志、与成功同等可检索，否则只见幸存方案、重复探索已证伪路径；
• 维护搜索多样性：按机制差异保留暂时低分但异质的分支，防收敛成同一易得分模板；
• 人类在更高层介入：定义问题、审查评价标准、解释反常、决定何时停止，而非只在危险调用前点”批准”。

软件工程同理：单测全过不证明数月后仍易维护。持续进化的上限，取决于系统能否评价它真正关心的目标，而非最易测量的代理指标。

8.3.4 持续进化的安全边界#

自我进化可能把一次错误变成长期风险：提示注入（Prompt Injection）被总结成经验后跨会话反复生效；恶意软件包封装成工具后扩散到所有任务；有缺陷的验证器持续批准实际退化的候选。除验证”是否更强”，还须限制”谁能改什么、依据来自哪里”，三道边界：

1. 证据与指令隔离：网页、工具输出及其 LLM 摘要都是不可信证据，不能当指令执行、不能直接进长期能力；LLM 总结只是可读性转换而非净化；按固定 schema 提取主张、原文位置与采集时间并留原文来源；模型置信度不能当批准门槛。候选以版本化 pull request 提交，独立于生成者的 reviewer 对照原始证据审查，高风险 Skill 上线前人工批准。
2. 候选能力与正式能力隔离：新知识、Prompt、Skill、程序、参数先进不可服务真实流量的候选区，新代码与依赖过沙盒、权限检查、供应链扫描与行为测试。
3. 安全机制不可自我修改。

8.3.5 睡眠学习：整合、遗忘与能力保鲜#

“睡眠学习”是离线整合的认知类比（不要求真在夜间）：在线 Agent 只完成任务、追加不可变证据；后台进程在空闲或达门控条件时批量读新经历，比较新旧、合并重复、解决冲突、提候选、跑回归。采集与整理分开，可防偶发成功或恶意输入立刻改写长期能力，也允许用更大批量、更便宜的模型整理。周期五步：触发（时间/轨迹量/容量/错误率门槛且无高优任务）→ 定向（读正式能力与不可修改边界）→ 采集整合（合并重复、标记冲突、优先局部补丁）→ 验证审批（迁移/保留/安全集，高风险等人工）→ 修剪索引（过期归档删除，留来源与回滚版本）。

实例：Claude Code 自动记忆按项目维护 MEMORY.md 索引与按主题拆分的详细文件，启动只载索引有界前缀，近上限要求合并——纯文本记忆也需容量约束、分层加载、主动整理。Hermes 更完整：有界 MEMORY.md/USER.md、SQLite/FTS5 历史检索（返回原始消息而非 LLM 摘要，避免检索与生成混成不可审计一步）、按需 Skill；任务含较多工具调用、错误恢复、用户纠正或非显然工作流时，后台复盘创建或修订 Skill；独立 Curator 跟踪 Skill 使用与陈旧状态、空闲期确定性修剪、变更前存快照可回滚。

进化不等于无限增长——上下文腐化会在长时间尺度重现（经验冲突、Prompt 被规则淹没、Skill 重复、微调遗忘）。需周期性整理：合并重复经验留来源；局部规则从全局 Prompt 移入领域 Skill；Prompt 与 Skill 像写给新员工的指导书而非”99 条军规”；重验长期未用工具；删被推翻的知识；从原始基座重训 LoRA。（实验 8-7 用四阶段任务流评估是否真在进化——学习、迁移、规则变化（行李上限 20kg 更新为 23kg）、保持（测遗忘），对照 static/append_only/evolving 三种行为；即使准确率高，仍引用废止规则、靠违规捷径或更新后遗忘，都不算持续进化。）