《AI Agents in Depth》学习笔记（九）：多模态与实时交互

9.3.1 级联流水线的全链路流式化#

保留模块分工，让各环节尽早产出增量结果：ASR 边听边转（识别计算藏进说话过程，轮次结束仍须确认最终文本）；LLM 流式输出并按标点/语义切分，首段成形即交 TTS（省的是”等整段回复”，不缩短 TTFT、不跳过 reasoning）；TTS 增量合成，与 LLM 剩余生成、客户端播放重叠。

9.3.2 流式语音感知：替代 VAD + ASR#

传统 VAD + ASR 前端三个根本问题：延迟累积（VAD 无法预知未来，只能等静音）；信息丢失（只输出”有声/无声”二值信号，情绪、语气、犹豫、环境声全丢，噪音误触发、附和的”嗯”无法判断意图）；准确率下降（连续音频被切成孤立片段，破坏上下文——“john dot smith” 被切开后 “smith” 可能被识别成 “miss”）。

“流式”的技术含义：编码器因果或分块（只依赖已到达的音频）且解码增量。Whisper 不能流式不在解码（本就自回归），而在编码器需要完整 30 秒音频段。流式识别本身不新：RNN-T、流式 Conformer 早已大规模部署（实时字幕、语音输入），与 LLM 无关。

新路线是基于 LLM 的流式听觉感知：以开源 LLM 为骨干后训练，直接从连续音频流输出语义级响应，把识别与理解合并。增量延迟同在单步推理（几十到一二百毫秒）量级，但模型看到的是从对话开始至今的连续音频，可做上下文学习——对个人信息、专有名词、发音习惯识别显著更准，且继承 LLM 世界知识（“苹果”后接”发布会”大概率指 Apple）。代表：Ultravox、Qwen2-Audio、Qwen2.5-Omni。

更轻的路线只解决”说完没有”：小型流式识别模型加 LoRA，一边转写一边综合语义与静音判断语义是否完整（轮内停顿常比轮间间隔还长，纯静音阈值两头不讨好）。关键发现：模型收话摇摆的根源常是训练标签的”上帝视角”（标注用了决策点之后的音频），改成只用决策当下可得的信息来标即消失——数据比架构更关键。生产实现：Deepgram Flux、AssemblyAI Universal-Streaming；开源有 LiveKit、Pipecat 的语义轮次检测。

流式感知模型输出”文字 + 声学事件特殊标记”统一事件流：<speak_start/end>（语义+声学判断起止）、<interrupt>（区分真打断与附和/噪音）、<emotion:...>、<laugh>/<sigh>、<music>/<noise>：

1
Input audio: "Um, actually I think... no wait, let me reconsider."
2
Model output stream:
3
  <speak_start> Um, <emotion:hesitant> actually I think...
4
  <silence:500ms> no wait, <emotion:confident> let me reconsider <speak_end>

实验 9-3 用 Qwen2-Audio 分块输入模拟流式（每个新块要把累积音频从头重编码——“模拟流式”与”真流式”增量编码的本质差别）：增量延迟约一二百毫秒；对照组 VAD（600ms）+ Whisper（200-500ms）合计 800-1100ms。停顿场景 VAD 把句子截成两段，“大概两点左右”被误识别为”大概零点左右”，分块方案识别正确；噪音场景模型输出 <|noise|> 而不中断，传统 VAD 被误触发。

9.6.1 方案一：快思考应付，慢思考回答#

快思考 500ms 内给应付性回答（“让我想想”），慢思考后台花 5-10 秒做推理时计算扩展（test-time scaling）后给完整回答。两个问题：简单问题过度思考——“今天星期几”快已答对，慢 10 秒后又重复一遍，浪费且破坏节奏；快慢不一致——独立思考路径可能相反（书中示例：快思考 0.5s 建议买套餐，慢思考 8s 后发现缺国际漫游改口”不适合”，用户怒问”到底买不买？！”），信任瞬间崩塌。根因：对话被拆成两个独立思考过程，快慢间缺乏协调机制。

9.6.2 方案二：快思考交互，慢思考提醒#

慢思考能看到快思考的输出，经 Agent 状态栏（第二章的动态元信息注入机制）递建议而不直接对用户说话——当”军师”（GPT-Live 委派、Pine AI 即生产实例）。局限：快思考可能不听指挥（间接沟通易理解偏）；看不到中间思考结果（像合作解题只能递纸条、看不到草稿纸，用户中途打断时只能硬答）；根本性的——无法”边想边说”：人类想一段说一段，方案二的快思考只能说填充词干等。

9.6.3 方案三：端到端思考与表达统一（Step-Audio R1）#

两个互补机制：MGRD 先解决”想得对不对”，MPS 再解决”说得及不及时”，前者是后者的前提。

模态锚定思考蒸馏（MGRD, Modality-Grounded Reasoning Distillation）三步迭代：(1) 对同一音频生成多条思考，筛选真正基于声学特征的——看有无具体声音参数（“语速快 40%、音量升高、声调变尖”入选，“说了负面词汇所以愤怒”淘汰）；(2) 用高质量思考重训模型；(3) 强化学习防偷懒跳过思考。迭代后思考根基从文本抽象迁移到声学分析（“音高轮廓在 1.2 秒处急剧下降”而非”似乎不开心”）。

MPS 双脑架构（Mind-Paced Speaking）模拟人脑分工——想下一句时嘴还在说上一句：构思脑（Formulation Brain）持续思考、产出一段段结果；表达脑（Articulation Brain）每收到新思考即结合已有回复转成语音。流水线并行：t=0 构思脑开始分析，t=200ms 出第一段思考，表达脑 t=350ms 输出首个音节。

方案三最优雅地实现”边想边说”，代价正是”移动靶子”：一个模型既当最强推理者又当实时说话者，须反复重训。产业分野由此而来：追求”随时换最新大脑”的产品押注方案二解耦；方案三适合追求极致自然度、愿担专门训练成本的场景——“可换的大脑” vs “更紧的边想边说”，非谁取代谁。

9.6.4 快慢之间的接口：文本之外还能传什么（Latent Bridge）#

方案二里慢给快”递话”用文本通道——好懂好调试，却是慢思考丰富中间状态的一根细吸管。潜空间桥（Latent Bridge）证明接口可以不用文字：快模型（每秒十几个动作）与慢模型（每秒一次思考）都冻结，只训练二者之间几千万参数的小”桥”，把慢模型隐层结论投影成”潜 token”拼进快模型输入，绕开”想法→文字→再理解”的往返。多个 Atari 游戏上比文本通道再高一截（部分 +26% 到 +82%），每步只多约 5ms。

9.8.1 动作空间设计#

Anthropic 参考实现分三类工具（是清晰的动作空间设计而非私有协议，Harness 转换格式后其他模型也能驱动同一循环）：

• computer 工具：鼠标移动/点击/拖拽、滚动；键盘逐字输入（type，字符间隔 12ms 模拟真实打字）、组合键、长按；感知：截图、光标位置、等待。
• bash 工具：持久终端会话，120 秒超时，哨兵字符串检测命令完成，多次调用保持状态。
• str_replace_editor 工具：字符串匹配的安全编辑，比整文件覆盖精确。

实验 9-6 提供两条运行路径：Anthropic Computer Use Demo（容器化 Ubuntu 桌面 + 原生 computer 协议），或开放权重 Qwen3-VL 32B 驱动 browser-use。

9.8.2 视觉定位（Grounding）#

每轮要在截图中定位目标元素。两大思路：选择题（先标注编号、模型只选一个——把开放式”找按钮并预测坐标”变成封闭式”从已标注元素中选一个”）与纯坐标预测。选择题有两种实现：

• Set-of-Mark（SoM）纯视觉标注：微软 2023 年提出，用分割模型（SAM、SEEM）切出候选区域并叠加编号，模型报编号、系统换算区域中心坐标；不需要 DOM 与界面内部结构，原生桌面软件、游戏界面同样适用。
• 结构化元素索引（DOM/Accessibility Tree）：以 browser-use 为代表——经 CDP（Chrome DevTools Protocol）取 DOM 树与无障碍信息 → 检测可交互元素 → 标注唯一 ID 并画边界框 → 生成文本列表。是 SoM 思想在 Web 上的结构化实现，不省 token 但定位准确稳定，免去分割模型的漏检误检。

1
Screenshot: [截图中关键元素标注了 [1]、[2]、[3] 等 ID]
2
Elements:
3
[1] <input type="text" placeholder="Search" aria-label="Search" />
4
[2] <button id="submit-btn" aria-label="Submit form" />
5
[3] <a href="/docs" aria-label="Documentation" />

纯坐标预测（SeeClick、Claude computer use）：在海量 GUI 截图-位置配对数据上训练，把自然语言描述直接映射到精确坐标。

选择逻辑：结构化信息可得时优先 DOM/Accessibility Tree 索引；不可得时（原生桌面软件、Canvas/WebGL、游戏）用视觉标注（对通用模型友好）或坐标预测（对做过 GUI 定位训练的模型直接）；两者在小元素、密集界面上精度仍有差距。

实验 9-7 用 Qwen3-VL 32B 驱动 browser-use 查旧金山天气：第 4 步遇 CAPTCHA 未谎报成功而转 weather.com，第 16 步读出 64°F、Sunny——证明开放模型路径可行。

9.8.3 能看动画、能听声音的 Computer Use Agent#

至今的感知隐含假设”屏幕是静止的”。可现实屏幕会放视频、弹转瞬即逝的通知、播会议人声；每 3-5 秒才睁一次眼、没有耳朵的 Agent 对”两帧之间的事”既看不见也听不到——看录屏、跟会议、听语音提示几乎是禁区。

该重新设计的不是动作接口而是”观察接口”（AOI）：把观察（连续、自适应、多模态）从动作（离散）中解耦，做成插在环境与任意现成模型之间、无需重训的感知中间件。三个”按需开闸”部件：(1) 帧间关键帧捕获——廉价像素门跳过没变的画面，小模型判断变化是否有意义，只在变化时截帧；(2) 音量门控的语音转写——有声音才调 ASR，让 Agent 第一次”长出耳朵”；(3) 最关键的把画面叙述成持久文字——把帧描述成一句话，原图被清出上下文后文字仍留在记忆里。

反直觉发现：起作用的不是”选哪几帧”，而是”把帧叙述成能长期留存的文字”——文字才是 LLM Agent 最擅长的模态。八个模型（7B 到前沿规模）上无需重训带来 +17 到 +48 个百分点，语音类任务差距最悬殊。但部件须按模型逐个挑选（有的模型塞太多图像 token 反而挤占推理）：感知方案没有银弹。

9.8.4 移动端：生态壁垒比技术更难#

技术差异：动作空间变为系统无障碍服务 API（如 Android AccessibilityService）读元素、下发点击与输入；同一 (x, y) 需手势类型界定单击/长按/滑动；AndroidWorld 等基准即在此动作空间上评测。

9.8.5 实时性：尚未解决的核心挑战#

OSWorld 基准上早期通用模型成功率仅约两成，截至写作时已逐步接近人类水平。但 OSWorld-Human 效率研究揭示：即使任务成功，Agent 操作步骤仍明显多于人类，且每步推理延迟随任务推进持续增长（上下文越长决策越慢）——人类几十秒的文档格式调整，Agent 可能磨蹭数分钟。**准确率达到人类水平不等于实用——效率才是真正的瓶颈。**根源与语音同构：串行”截图-思考-点击”的延迟累积，且当前 Computer Use 完全不会”提前想”（等页面加载时想好下一步，即”边想边操作”）；循环本身的提速尚无系统性解法。

绕过它的思路已跑通，正是快慢解耦：别让用户干等慢的操作 Agent——“说话”和”操作电脑”拆成快慢两套模型并发：小模型（快）实时语音对话，前沿 VLM（慢）在浏览器一步步操作，之间只靠一份”纯文本契约”：慢 Agent 每步附带滚动更新的状态摘要（“正在填表单，还需要你的出生日期”），快 Agent 据此实时回答用户、把用户口头的新信息转达给慢 Agent，且状态摘要确认完成前绝不许说”办好了”。实验：语音回应比”单模型边操作边说”快约 15 倍（中位延迟 0.58 秒 vs 8.64 秒）且成功率不降；抽掉文本通道，成功率立刻塌到 0（口头关键信息传不进浏览器）。这份契约本质上就是第二章讲起的 Agent 状态栏。

9.9.1 硬件不是瓶颈，算法才是#

XLeRobot 给出反证：成本不到 1000 美元的双臂轮式机器人，人类经 VR 头显遥操作时已能流畅完成大量家庭任务（更复杂的灵巧手任务，宇树机器人遥操作下也能完成）；遥操作延迟约 100-200ms，已接近物理交互要求，传感器、执行器、控制频率在低成本平台上已够用。边界：该论断限定在以视觉反馈为主的操作任务——触觉传感缺失、灵巧手可靠性与成本仍是公认硬件短板。就这类任务而言，真正的鸿沟在算法层。

9.9.2 双层架构：规划与控制的分离#

两个时间尺度：慢的长程规划（long-horizon planning）把”打扫厨房”拆成子目标序列、理解语义、推理依赖（“做什么”）；快的 VLA 控制（Vision-Language-Action，视觉-语言-动作模型）按当前画面与指令持续输出控制信号（“怎么做”）。与语音的快慢思考同构——但维度不同：这里拆”谋划全局 / 实时执行”，MPS 双脑拆的是”想 / 说”。

实时性没有消失，而是下推到 VLA 层靠动作分块（Action Chunking）摊薄。绕不开的权衡：分块拿反应性换平滑性——块越长运动越连贯，但模型这段时间”看不到”新画面，对突发变化（物体被挪走、有人伸手）越迟钝。

本章主线在此转向：机器人的实时性矛盾已被双层解耦 + 动作分块部分缓解，主要矛盾转移到训练与泛化。VLA 可看作 “VLM + 动作输出”，当前主要靠模仿学习（行为克隆）训练（OpenVLA、RT-2、π₀ 均属此类），RL 是补充；即使第七章 SimpleVLA-RL 在 LIBERO 分数很高，也是每任务分别 RL 训练而非统一模型零样本泛化——新任务就得重新收集数据、重新训练。

9.9.3 长程规划：从 VLM 到专用具身思考模型#

Google DeepMind 的 Gemini Robotics-ER 1.5 专为具身思考（Embodied Reasoning，理解物体位置、运动与因果）优化：15 个学术基准平均 62.8%，超 GPT-4o（60.6%）与 Gemini 2.5 Pro（59.3%）；优势：空间理解与物体定位、时序推理（“推倒杯子会怎样”）、任务编排，原生支持 thinking 与工具调用。实验 9-9 用它驱动 XLeRobot 自主导航：只给前进/左转/右转三个工具，0.5-1Hz 决策完成”找到厨房走过去”——空间推理与任务分解已不错，复杂环境鲁棒性与多步推理一致性仍有差距。

9.9.4 VLA 控制：从演示数据到跨具身泛化#

动作表示两条路线：

• 离散动作 token（RT-2、OpenVLA）：RT-2 开创——在大规模 VLM 上微调，连续动作离散化为 token、像文本一样自回归输出，借预训练泛化提升零样本迁移。OpenVLA 沿用该表示，先在跨平台数据集 Open X-Embodiment（20 多种机器人平台的真实演示）预训练、再少量数据微调特定平台；真正差异在开放性——RT-2 封闭，OpenVLA 完全开源（Llama 2 + 视觉编码器 + 公开数据集），社区首次可复现改进。
• 连续轨迹生成（π₀）：用 flow matching（流匹配，与扩散模型同源）从噪声多步”去噪”直接生成平滑连续轨迹，天然与动作分块结合，灵巧操作等高精度任务上更好。比喻：离散 token 像从菜单逐步选”向左 5 度”，连续轨迹像画家先勾整条曲线再逐笔修正。

动作分块是 VLA 通用的频率补偿技术（ACT 最早提出，π₀、OpenVLA-OFT 广泛采用）：传统机器人控制要求 50-1000Hz，VLA 单次推理仅约 1-10Hz——差两个数量级（原版 OpenVLA 约 6Hz 单步预测，动作卡顿是主要短板）。分块让模型一次生成约 0.5-1 秒动作块（50Hz 下即 25-50 个动作），控制线程高频执行、模型后台异步生成下一批；只要推理时间小于该块执行时间，运动就连续流畅——像视频缓冲。

9.9.5 Sim2Real Transfer：从仿真到现实的鸿沟#

第六章已讲 sim-to-real gap 与领域随机化（domain randomization）：仿真无法完全还原真实物理/视觉/硬件特性，训练时把参数大范围随机打乱，逼策略学出对各种变化都稳的表征。成功案例：OpenAI Dactyl（手内方块重定向，后续借自动域随机化 ADR 单手解魔方）、ETH ANYmal（雪地碎石鲁棒行走）。落到真机的两个工程环节：随机化范围标定——太窄覆盖不了真实变化，太宽学出”什么都能应付但什么都不精”的次优策略；应从真实数据实测标定关键参数分布（摩擦系数、电机响应延迟），真机掉点再逐步扩大范围直到 gap 收敛。视觉对齐——精确校准仿真与真实摄像头位姿，并把真实背景随机替换进仿真渲染（greenscreen）。

实验 9-10（LeRobot + ManiSkill）只用 RGB 图像训练、零样本部署到真实 SO100 机械臂，五步：环境对齐（可视化叠加验证）→ greenscreen 背景替换 → domain randomization（颜色、纹理、光照、视场角）→ PPO 并行仿真训练至成功率 >90% → 真机零样本完成抓取。三要素（精确环境对齐 + 视觉域随机化 + 物理参数随机化）缺一不可；局限：真实物体超出训练分布时成功率显著下降。