HarnessX 论文笔记
可组合、自适应、可进化的 Agent Harness Foundry

摘要与核心主张

AI Agent 的性能不仅取决于底层模型，更取决于运行时 harness——由提示词、工具、记忆和控制流组成，决定模型如何观察、推理和行动。

HarnessX 是一个用于构建可组合、自适应、可进化的 Agent Harness 的 foundry（铸造厂）。它通过替换代数（substitution algebra）组装类型化的 harness 原语，通过 AEGIS（基于轨迹的多智能体进化引擎）自适应调整，并通过将执行轨迹同时用于 harness 更新和模型训练来闭合 harness–model 循环。

"Across five benchmarks (ALFWorld, GAIA, WebShop, τ3-Bench, and SWE-bench Verified), HarnessX yields an average gain of +14.5% (up to +44.0%), with gains largest where baselines are lowest." — HarnessX Abstract

图 1：HarnessX 概览——Compose（组合）→ Adapt（自适应）→ Evolve（进化）

三大问题与研究动机

当前 harness 开发远未成为成熟工程学科，存在三个核心问题：

HarnessX 的解决思路

1. 把 Harness 当作一等对象：可组合、可替换、可序列化、可比较。
2. AEGIS 自适应引擎：基于完整轨迹可观测性，通过四阶段流水线压缩轨迹、规划适配、生成候选、评估变更。
3. Harness-模型协同进化：把 harness 进化产生的轨迹同时作为模型强化学习的训练信号。

Harness 组合：9 维分类法

HarnessX 将 harness 行为空间组织为九个正交维度，每个维度都是可插拔的处理器 bundle。AEGIS 在进化过程中会跨所有维度进行编辑，其中 D2（上下文组装） 和 D4（工具生态） 是最频繁的编辑目标。

Processor 抽象与 Hook 点

HarnessX 中，每个 per-step 行为都被实现为一个Processor，满足协议：

一个 Processor 消费一个事件，产生零个或多个事件，结果只能是以下五种之一：

• 透传（Pass-through）：原样输出
• 变换（Transform）：修改后输出
• 拆分（Split）：输出多个同类型事件
• 拦截（Intercept）：不输出，阻断传播
• 中断（Interrupt）：抛出异常，停止循环

8 个生命周期 Hook 点

Processor 还携带三类类级元数据，用于约束组合：

• _singleton_group：互斥组，同一组最多一个 Processor
• _order：PRE / NORMAL / POST 排序提示
• _after：对其他单例组的软依赖

操作镜像：RL ↔ 符号 Harness 进化

HarnessX 的核心理论贡献是操作镜像（Operational Mirror）：把 harness 进化形式化为符号工件上的 MDP。

MDP 实例化

• 状态：s_t = (H_t, T_t)
• 动作：a_t ~ π_evo(·|s_t)，即从元智能体生成的代码级编辑
• 候选 harness：H̃_t = a_t(H_t)
• 执行：在固定模型 M 上运行候选，得到轨迹 ΔT_t 和验证器得分 r_t
• 确定性门控：要么提交（H_{t+1} = H̃_t），要么拒绝（H_{t+1} = H_t）
• 跷跷板约束（Seesaw Constraint）：候选不能回退任何此前已解决的任务

三种 RL 病理与 AEGIS 防御

操作镜像不仅是类比，它把 RL 中的已知失败模式转化为具体的设计需求。符号空间中的三种病理表现得更加明显，因为：

1. 语言模型进化器可以构造结构化 exploit，这是数值参数扰动无法表达的；
2. 对共享组件的编辑会通过 harness 非局部传播。

"Language-model subagents explore, hypothesize, and propose; typed structure and deterministic gates determine what ships. This separation ensures that safety properties (no regression, no unaudited edits) hold regardless of LLM subagent failure modes." — HarnessX §4.3

AEGIS 四阶段流水线

图 2：AEGIS 进化循环。单个元智能体 M 驱动四个阶段（Digester、Planner、Evolver、Critic），选择性调用，最终由确定性门控决定 Ship 或 Reject。

AEGIS 是 HarnessX 的 harness 进化引擎，包含四个按预定义工作流排列的阶段，全部由同一个元智能体 LLM（Claude Opus 4.6）驱动。关键设计是选择性调用：元智能体自己决定每个阶段是否有足够信号继续；只有 Critic 和确定性门控是强制的。

Algorithm 1：AEGIS Harness Evolution Loop

1. 每轮在当前 harness H_t 上采样 batch B_t 并执行，得到轨迹 ΔT_t。
2. Digester（可选）：若 actionability 低于阈值 α，本轮跳过。
3. Planner（可选）：若 landscape 为空，本轮跳过。
4. Evolver（可选）：若无类型安全候选，本轮跳过。
5. Critic & Gate（强制）：对候选排序并依次通过确定性门控；第一个通过的候选被提交。
6. 若连续 P=3 轮无提交，提前停止。

图 7：变更清单卡片示例。包含失败证据、编辑内容、预期影响、归因签名。

变体隔离与集成路由

单 harness 进化会遇到一个结构性问题：当任务需要冲突行为时，改善一个子集的编辑可能回退另一个子集；跷跷板约束会拒绝它，从而丢弃局部有益的变更。

变体隔离（Variant Isolation） 通过 集成路由（Ensemble Routing） 解决这个问题：维护最多 K 个 harness 变体，将每个任务路由到在该任务簇上历史成功率最高的变体。

工作原理

• 若编辑改善某些任务且不回归任何任务 → 应用到目标变体。
• 若编辑改善某些任务但回退其他任务 → 系统分叉出新变体，而不是直接拒绝（若变体池满则淘汰表现最差的）。
• 一旦存在多个变体，跷跷板约束按变体作用域检查：只测试路由到该变体的任务。

GAIA GPT-5.4 上 15 轮对比

变体隔离同时实现了三个预期特性：

1. 非退化聚合轨迹（peak = final）
2. 更持久的探索（R14 才达到峰值，而非 R4）
3. 更低的总 token 消耗（107.8M vs 143.7M）

Harness-模型协同进化

图 3：Harness-模型协同进化循环。共享回放缓冲区同时驱动 AEGIS harness 进化和跨 harness GRPO 模型更新。

单独优化 harness 或单独训练模型都会遇到天花板：

• 脚手架天花板（Scaffolding Ceiling）：能力有限的小模型最终无法利用更好的 scaffold，再改进 harness 也无法提供模型本身缺乏的推理能力。
• 训练信号天花板（Training-Signal Ceiling）：固定 harness 下训练模型，新获得的能力无法被激发，因为 scaffold 从不呈现能调用它们的上下文、工具或控制流。

协同迭代步骤

1. Rollout：运行 (M_t, H_t) 在 batch B_t 上，记录完整轨迹 τ_i。
2. Verification：固定验证器给每条轨迹打分 r_i（跨 harness 版本可比）。
3. Buffer Insertion：将带 harness 版本标记的轨迹加入共享回放缓冲区 B，FIFO 淘汰旧轨迹。
4. Harness Evolution：H_{t+1} ← AEGIS(H_t, B)（非参数优化）。
5. Behavior Log-Probabilities：用生成模型 M_t 对新轨迹做前向传播，缓存 token 级 log-prob。
6. GRPO Update：M_{t+1} ← GRPO(M_t, B)（参数优化）。
7. Advance：回到步骤 1，使用进化后的 (M_{t+1}, H_{t+1})。

Cross-Harness GRPO

关键设计是跨 harness 分组：同一任务标识的所有轨迹组成一个 GRPO 组，无论它们来自哪个 (M_k, H_k) 对。

这样模型从策略间奖励对比中获得梯度信号，而不是仅仅依赖固定策略内的采样方差，从而内化为跨 harness 版本成功的策略。

分组相对优势与 GRPO 目标

实验设置

评测基准

模型与协议

• 元智能体：Claude Opus 4.6（驱动所有实验中的 AEGIS）
• 任务智能体：Claude Sonnet 4.6、GPT-5.4、Qwen3.5-9B
• 主指标：pass@2（每个任务两次独立 rollout，任一成功即算解决）
• 超参数：每轮 K_t=4 个候选，3 个随机种子，噪声阈值 ±5%，P=3 耐心轮

主要结果与发现

图 4：各基准上的进化轨迹。虚线为初始基线，标注了关键事件（跑步机、噪声虚高、杠杆转移）。

主结果表

关键发现

图 8：GAIA 进化分析——失败聚类、不同模型使用的编辑杠杆、各杠杆有效性。

图 9：ALFWorld 进化分析——搜索/步数上限是主要失败原因，结构性杠杆对弱模型更有效。

消融实验与失败分析

进化策略对比

元智能体架构对比

在变体隔离下，单 Agent evolver 与四阶段 AEGIS 准确率差距约 1%（在误差范围内），但 AEGIS 节省约 14% token。这说明在强大元智能体下，增益主要来自 HarnessX 的基础设施（类型化组件、结构化轨迹），而非 evolver 内部架构本身。

协同进化增益

图 5：协同进化 vs. 仅 harness 进化。两条曲线前 4 轮重合，之后协同进化持续领先，平均额外 +4.7%。

• GAIA：37.4% → 41.7%（+4.3%）
• WebShop：49.0% → 54.0%（+5.0%）
• 平均额外增益：+4.7%

失败分析：三种病理的真实案例

图 6：失败案例网格。每个病理 3 个案例，展示检测信号、根因和结果。

讨论与局限

为什么组合结构对进化至关重要

单 harness 全局策略会在 GAIA GPT-5.4 上早期达到峰值后崩溃（−24.3%）。变体隔离依赖于组合性来显式界定每次编辑的作用域。类型化组件不会阻止坏编辑，但会让坏编辑的范围显式化，从而实现独立变体。

轨迹丰富性的作用

完整执行轨迹 τ 提供了标量奖励之外的诊断信息：奖励作弊需要检查"如何"改善；探索不足需要追踪编辑类型分布和 ship-prediction 准确率。反馈信号的丰富度决定了可安全执行的进化复杂度。

操作镜像的边界

操作镜像是设计启发式，不是形式化理论。经典 RL 收敛保证需要充分探索状态-动作空间，而 harness 配置是符号状态、动作是开放式代码编辑，无法达到。它不能预测哪种病理占主导，而是作为设计检查清单。

跨模型族泛化

增益与基线性能成反比（Qwen > GPT > Sonnet），而非与元智能体模型族接近程度相关。四阶段分解在当前元智能体能力水平下主要提供效率（~12% 更少 token）和可审计性，而非显著准确率差异。

成本-性能权衡

• 进化需要前期计算，但可在后续调用中摊销。
• 变体隔离更有效且更高效（107.8M vs 143.7M token）。
• GAIA 上单任务推理成本下降约 25%（目标化工具选择缩短轨迹）；ALFWorld 上升约 60%（任务分解提示词拉长执行）。
• GAIA upfront 107.8M token 约在 1,300 次调用内摊平。

伦理与安全机制

1. 可审计性：每个提交的编辑都附带清单和回滚目标；拒绝的候选归档原因。
2. 确定性门控：跷跷板约束拒绝任何在 pass@2 下回退单个此前已解决任务的编辑。
3. 人工介入：门控层支持对超过可配置风险阈值的编辑进行人工审批（自动化实验中未启用）。

局限

总结