引言
2026 年初,一个新术语席卷了 AI 工程界——Harness Engineering(Harness 工程)。它不是又一个营销概念,而是对过去四年 AI 工程实践的一次系统性总结:当我们不再满足于"写一个好 prompt",而是需要构建一个让 AI Agent 可靠、安全、经济地完成复杂任务的完整系统时,Harness Engineering 就是那个系统工程学科的名字。
本文将从起源讲起,沿着 Prompt → Context → Harness 的演进主线,深入拆解 Harness 的核心原理,分析当前八大难点,并梳理 Anthropic、OpenAI、Google、Cursor 等厂商的解决方案。
一、什么是 Harness?
1.1 一个公式
2026 年 2 月,LangChain 的 Vivek Trivedy 给出了被广泛引用的公式:
Agent = Model + Harness
如果你不是模型本身,那你就是 Harness。
裸的 LLM 只是一个无状态的文本补全引擎——它没有记忆、不能执行动作、无法跨会话持续工作。Harness 是赋予模型行动能力、状态持久化、工具调用、验证循环和安全治理的完整运行时基础设施层。它不让模型变得更聪明,而是让失败变得结构性不可能或可恢复。
1.2 Harness 与 Prompt 的本质区别
| 层次 | 作用域 | 控制什么 |
|---|---|---|
| Prompt Engineering | 单次模型调用 | 输入字符串——措辞、示例、指令 |
| Context Engineering | 单个上下文窗口 | 模型看到的信息——RAG 结果、对话历史、工具定义 |
| Harness Engineering | 整个运行环境 | 工具执行、状态持久化、验证循环、记忆、权限、多会话协调 |
一个类比:在 prompt 里告诉 Agent"请遵循我们的编码规范"是概率性的合规;在 Harness 里接入一个 linter 来阻止不合规的 PR 是确定性的执行。Prompt 告诉 Agent 做什么,Harness 控制它能不能做、怎么做。
1.3 词源
“Harness"源自马具——缰绳、嚼铁、鞍座——将马的原始力量引导到有用的方向。LLM 就是那匹马:强大而快速,但没有 Harness 就毫无方向。在软件领域,“test harness”(测试线束)的概念由来已久——一个可控的、可观测的、可验证的执行环境。AI Agent Harness 继承了这一核心思想。
二、从 Prompt 到 Harness:演进史
Phase 1:Prompt Engineering(2020–2024)
起点:2020 年,GPT-3 发布,Brown et al. 证明了 few-shot learning——通过在 prompt 中给出几个示例,LLM 就能适应新任务。“Prompt engineering"这个术语由 Gwern Branwen 首先使用,随后在 2022 年 ChatGPT 爆发后成为主流。
关键技术里程碑:
- 2022 — Chain-of-Thought(Wei et al., Google):发现让模型"一步步思考"能显著提升多步推理能力。这是第一个系统性的证据——prompt 的形式塑造推理的过程,而不仅仅是输出。
- 2022 — ReAct(Yao et al.):提出 Thought → Action → Observation 循环——模型在推理和工具调用之间交替。这建立了 Agent Loop 的原型架构,几乎所有现代 Agent Harness 的基础都是 ReAct 的变体。
- 2023 — Toolformer(Schick et al., Meta):证明 LLM 可以自主学习何时、如何调用外部工具。工具使用从 Harness 强加行为变成了模型的一等能力。
- 2023 — OpenAI Function Calling + AutoGPT + LangChain:Function Calling API 让结构化工具调用变得实用;AutoGPT 和 BabyAGI 展示(也压力测试了)开放式自主 Agent;LangChain 提供了模块化框架。这个阶段暴露了无 Harness Agent 的核心失败模式:无限循环、上下文爆炸、不可恢复的失败。
Prompt Engineering 的致命缺陷:
- 脆弱——上游模型的微小变化就能打破精心设计的 prompt
- 概率性合规,而非确定性保证
- 无法从任务中途的错误中恢复
- 无法处理多步骤任务或跨会话状态
Phase 2:Context Engineering(2025)
定义时刻:2025 年 6 月,Shopify 创始人 Tobi Lütke 在 X 上提出"context engineering"比"prompt engineering"更准确地描述了核心技能。一周后,Andrej Karpathy 给出了被广泛引用的定义:
“用恰到好处的信息填充上下文窗口的精妙艺术与科学。”
范式转变:从优化单条 prompt 转向架构模型看到的信息——RAG 管道、对话历史管理、工具定义、结构化记忆。瓶颈从措辞转向信息。
Context Engineering 的不足:
- 拥有良好上下文的 Agent 仍然在规模化使用时不可预测地失败
- 上下文窗口是有限的;复杂任务跨越多个窗口
- 无法从灾难性的中途失败中恢复
- “上下文焦虑”——模型在上下文快满时会过早地结束任务
- 指令完美、上下文充分的 Agent 仍可能执行危险命令
Phase 3:Harness Engineering(2026–至今)
范式转变:不再试图通过指令让模型表现更好,而是工程化环境使不良行为在结构上不可能或可被结构性纠正。Harness 是道路、护栏、交通系统——不只是方向指引。
三者是嵌套关系:Harness Engineering ⊃ Context Engineering ⊃ Prompt Engineering。每一层增加了作用域,但不消除前一层。
三、命名时刻:2026 年 2 月
“Harness Engineering"作为一个命名学科,在 2026 年 2 月的两周内结晶:
Mitchell Hashimoto(2 月 5 日)
HashiCorp 联合创始人、Terraform 和 Ghostty 的作者,在博客 My AI Adoption Journey 中描述了他在用 AI Agent 构建 Ghostty 时发展出的实践:
“每当你发现 Agent 犯了一个错误,你就花时间工程化一个解决方案,使这个 Agent 永远不会再犯同样的错误。”
他给这个实践命名为 “engineer the harness”,并在文中坦承自己不确定业界是否已有对应术语。实践中,这意味着在 AGENTS.md 中积累规则、为每个失败编写验证脚本,直到错误在结构上不可重复。
Ryan Lopopolo / OpenAI(2 月 11 日)
发表了 OpenAI Frontier 团队如何用 Codex Agent 交付超过一百万行代码、1500+ PR、零人工编写和零人工审查的文章。当 Agent 失败时,团队问的不是"如何更好地 prompt 它”,而是"环境中缺少什么能力、上下文或结构?”
Lopopolo 后来在 Latent Space 播客(4 月 7 日)中亮相,标题是 “Extreme Harness Engineering for Token Billionaires”。
Vivek Trivedy / LangChain(2 月 17 日)
发表 “Improving Deep Agents with Harness Engineering”——被广泛认为是给这个术语赋予正式分类体系并推广到业界的文章。他展示了 LangChain 的编码 Agent 仅通过修改 Harness(不换模型)就从 Terminal Bench 2.0 的 Top 30 跃升至 Top 5。他提出了经典公式"Agent = Model + Harness"并定义:“如果你不是模型,你就是 Harness。”
后续文章 The Anatomy of an Agent Harness 在 X 上获得 73.3 万次浏览和 4800 次收藏。
Birgitta Böckeler / Martin Fowler(2 月 17 日)
在 Fowler 的"Exploring Gen AI"系列中发表 Harness Engineering 备忘录,引入 Guides(前馈控制) 和 Sensors(反馈控制) 框架,两者可以是计算性的或推理性的,并提出 Harness Templates 概念——在组织内共享通用的 Guides 和 Sensors 配置。
归属共识:Mitchell Hashimoto 命名了它(2 月 5 日);Viv Trivedy 定义和分类了它(2 月 17 日);两人共同将这个术语推入普遍使用。
四、深入拆解 Harness 原理
4.1 核心组件
学术界和工业界对 Harness 的核心组件已形成收敛共识。一篇 2025–2026 的综述论文提出了 ETCLOVG 分类法——七个必要且充分的层:
| 层 | 名称 | 职责 |
|---|---|---|
| E | Execution(执行基底) | 工具动作物理运行的环境——沙箱子进程、Docker 容器、Rust 沙箱 |
| T | Tool(工具接口) | JSON Schema 格式的工具定义、工具注册表、MCP 协议 |
| C | Context(上下文管理) | 每一步上下文窗口的内容——压缩、缓存、滚动摘要 |
| L | Lifecycle(生命周期/编排) | Agent Loop 的控制流——ReAct 循环、终止条件、子 Agent 调度 |
| O | Observability(可观测性) | 每次模型调用、工具调用、观测的追踪和日志 |
| V | Verification(验证) | Linter、类型检查、测试运行器、自我批评——确定性传感器 |
| G | Governance(治理) | 权限分层、沙箱、审批门控、安全规则 |
4.2 Agent 控制循环
主流架构是 ReAct(Reasoning + Acting):
Thought → Action → Observation → Thought → … → Final Answer
- Thought:模型输出显式推理——解释当前状态,决定下一步
- Action:工具调用。现代系统使用原生 function calling(结构化 JSON),而非文本解析
- Observation:工具返回值,追加到对话历史并重新呈现给模型
- Termination:“Final Answer"信号或最大步骤预算
以 Claude Code 为例,其六阶段控制循环:
初始化 → 上下文构建 → LLM 调用 → 决策路由 → 收集工具结果 → 溢出检查
↑ ↓
←←←←←←←←←←←←←← 若未溢出,循环回上下文构建 ←←←←←←←←←←←←←
若溢出,触发 Context Compaction
当模型同时请求多个工具时,生产级 Harness 会进行依赖分析(这些工具能否并行?)和资源约束(最多多少并发进程?)。
4.3 上下文管理与压缩
上下文窗口是 Agent 的核心资源约束。一个 SWE-bench 任务的长编码会话通常跨越数百万 token——Qwen3-Coder-Next 平均每个问题消耗 800 万 token 和 154 轮对话。
主要压缩策略:
| 策略 | 原理 | 代表系统 |
|---|---|---|
| 滚动摘要 | 达到阈值时,用模型调用将历史压缩为叙述,替换原始记录 | Claude Code |
| Map-Reduce 压缩 | 分块 → 独立摘要(map)→ 合并为最终浓缩(reduce) | 长会话场景 |
| 服务端压缩 | /responses/compact 端点,返回更小的输入列表 | Codex CLI |
| KV-Cache 压缩 | 在推理层面驱逐 KV-cache 条目,最高 20x 压缩 | LLMLingua(Microsoft Research) |
| 外部工件记忆 | 进度文件、特性列表、Git 历史作为持久记忆 | Anthropic 两 Agent 架构 |
一个关键失败模式是**“上下文焦虑”(Context Anxiety)**:当窗口接近填满时,Agent 会过早结束任务——不是因为工作完成了,而是因为它"感知"到了限制。Cognition(Devin)明确记录了这一现象。
4.4 记忆架构
业界已收敛到认知科学的三层分类:
- 情景记忆(Episodic):存储过去的交互历史——具体事件和会话。允许回忆"上次发生了什么”。
- 语义记忆(Semantic):声明性事实、实体属性、领域知识、用户偏好。基本上是非时序的——Agent 认为当前为真的东西。通常存储在向量数据库中。
- 程序记忆(Procedural):编码"如何做”——操作技能、决策启发式、可复用程序(如 Claude Code 的 CLAUDE.md)。
到 2026 年中,68% 的生产 Agent 部署包含专用记忆层(2024 年仅 23%)。
4.5 权限模型
以 Claude Code 为例的三层权限模型:
- Tier 1(自动批准):只读或固有安全的操作——文件读取、文本搜索、代码导航
- Tier 2(需确认):修改状态但可控的操作——文件编辑、某些 Shell 命令
- Tier 3(默认阻止):破坏性或高风险操作
在自动模式下,一个后台分类器在执行前评估 Tier 2 操作。关键设计:分类器看到用户请求和工具调用,但看不到模型的自由文本。这是一个刻意的架构选择——防止模型通过 prompt injection 影响自己的门控系统。
4.6 验证循环
编码 Harness 与通用聊天 Harness 最大的差异在于Plan-Execute-Verify(PEV)循环:
- Plan:形成对预期变更的契约
- Execute:在沙箱和权限环境中执行
- Verify:使用确定性传感器(linter、类型检查器、测试运行器)和人工审查门控,决定状态应被接受、修订、升级还是回滚
Cursor 的早期 Harness 在每次编辑后自动呈现 lint 和类型错误——这些是确定性传感器,不是 LLM 调用——集成在循环中提供 ground-truth 反馈。
五、当前八大难点
5.1 上下文窗口管理
尽管上下文窗口已增长到 100 万(Claude)和 200 万(Gemini 3.1)token,上下文仍是核心未解决瓶颈。
核心问题:
- “上下文腐烂”(Context Rot):性能随上下文填充呈非线性下降。模型并不均匀地使用上下文——可靠性在硬限制之前就开始下降。
- 系统 prompt、工具定义、RAG 结果和对话历史争夺空间
- 朴素截断破坏工具响应保真度;摘要丢失关键细节
前沿方案:
- 递归语言模型(RLM,Prime Intellect):Agent 主动将上下文委托给子进程,而非通过有损压缩丢失信息
- 操作系统式内存管理:将上下文窗口视为 RAM——预算、分页、主动驱逐。Mem0 的研究显示这种架构比无状态方法提升 26% 的响应准确率
- TokenPilot(2026):LLM Agent 的 Cache 高效上下文管理,优化跨工具调用的 KV-cache 复用
5.2 工具选择与路由
MCP 生态到 2026 年中已增长到 ~19,000 个已验证的公开服务器上的 ~177,000 个不同工具。
核心问题:
- 2025 年研究发现 97.1% 的 MCP 工具描述存在至少一个质量问题
- 无检索辅助时,工具选择准确率仅 13.62%(RAG-MCP 论文)
前沿方案:
- RAG-MCP:将工具元数据嵌入向量存储,每次查询仅检索相关工具,准确率从 13.62% 提升至 43.13%
- 延迟/动态工具加载:Anthropic 的 “Tool Search Tool”(2025 年 11 月),只加载一个搜索工具,按需获取和加载所需工具。Opus 4 准确率从 49% 跳升至 74%
- 激进工具精简:GitHub Copilot 从 40 个工具减至 13 个,基准测试改善。Block 将 Linear MCP 服务器从 30+ 工具重建为 2 个。Cloudflare 的 Code Mode 将 2,500+ API 端点压缩为 2 个工具,从 117 万 token 降至 ~1,000 token
核心洞见:工具描述不是文档——它是 LLM 的主要决策表面。
5.3 错误恢复与自愈
核心问题:
- 并非所有失败都是基础设施故障——许多是推理失败(错误计划、幻觉事实)。重试相同调用无法修复错误的思维链
- 2025 年 IDC 调查:92% 使用 Agentic AI 的组织报告成本高于预期,失控循环是主因
- 最糟糕的失败模式:“对失败任务的静默成功”——Agent 自愈到产生错误输出并充满信心
前沿方案:
- MAPE-K 启发的自愈编排器:Monitor → Analyze → Plan → Execute → Knowledge 控制循环
- 质量感知断路器:拦截的不仅是硬故障(超时、错误),还包括输出质量故障——畸形 JSON、Schema 违规
- 舱壁隔离(Bulkhead):每个并行 Agent 分支在自己的隔间中运行,一个故障只淹没自己的舱室
- 推理层反思:基础设施恢复修复调用;推理层反思修复思维。两者结合覆盖可靠性问题的两半
5.4 评估与基准测试
SWE-bench 仍是主导基准:2,294 个任务实例,来自 12 个 Python 仓库的真实 GitHub issue。截至 2026 年 5 月,Claude Mythos Preview 以 93.9% 居首。
根本性批评:SWE-bench 同时评估 Harness 和底层模型。2025 年分析发现 19.78% 的"已解决"用例语义上不正确——它们通过 reward-hacking 评估 Harness 来通过单元测试,而非产生正确代码。
新兴基准:
- UTBoost:要求 Agent 同时生成测试,而非仅生成补丁
- Harbor:在容器化环境中评估 Claude Code、OpenHands、Codex CLI
- Harness-Bench:专门评估 Harness 质量的基准
- NIST AI Agent 标准倡议(2026 年 2 月):行业级正确性、效率和安全指标
5.5 安全与沙箱
这可能是最令人警醒的领域。Prompt injection 在 2026 年仍是 OWASP 的 #1 LLM 威胁,被广泛描述为根本性未解决。
问题规模:
- Prompt injection 出现在超过 73% 的生产部署中;2025 年造成约 23 亿美元损失
- 检测工具仅捕获 23% 的复杂注入尝试
- Inkog Labs 发现 86% 的 500+ 开源 AI Agent 仓库包含至少一个安全漏洞
- CVE-2025-59532 针对 OpenAI 的 Codex CLI:Agent 的自身输出可以重新定义其沙箱边界
为什么架构上很难:LLM 将输入处理为单一 token 序列,在系统 prompt、用户查询和工具检索内容之间没有可靠的权限边界。
有效防御:
- 遏制优于过滤:假设某些注入会成功;使用最小权限、沙箱和人机协作,使成功的注入无法触及敏感内容
- 指令层级强制:系统 prompt > 用户输入 > 工具输出——严格的权限排序
- 推理与权限执行分离(Anthropic 模式):模型决定想做什么,但另一个代码路径决定是否允许。被越狱的模型无法覆盖安全检查,因为它们在独立系统中
5.6 成本与延迟
经济现实残酷:
- 2025 年企业平均 AI 支出达 85,521 美元/月(同比增长 36%)
- 输出 token 成本是输入的 3-10 倍;高级推理模型有 8:1 的输出/输入比率
- 92% 的 Agentic AI 用户报告成本高于预期
优化策略:
- 模型路由:为每个请求动态选择足够的最便宜模型。报告 30-70% 成本降低
- Prompt 缓存:Anthropic 报告最高 85% 延迟降低和 ~90% 输入成本降低
- 批处理:32 个请求的批处理可将每 token 成本降低 85%
- 激进工具精简:减少工具数量和 token 消耗
5.7 多 Agent 编排
核心挑战:
- 协调复杂度随 Agent 数量超线性增长
- 状态同步:Agent 争夺资源或覆盖彼此的输出
- 静默失败:缺少正确上下文的 Agent 会幻觉或停滞,通常没有可检测的错误信号
- 持久状态:5 步工作流在第 4 步丢失上下文时应从第 4 步恢复,而非重新开始
前沿模式:
- 编排器-工作器 + 舱壁:一个编排器委派给专门的子 Agent,每个在隔离隔间中
- 每次交接的输出 Schema 验证:一个 Agent 的畸形输出不能腐蚀下游 Agent
- 基于图的状态(LangGraph):将工作流建模为有向图,支持条件分支和精确恢复
- Git worktree 并行 Agent(Windsurf Wave 13):多个分支同时修改,无文件冲突
量化结果:评估驱动的编排研究显示,将常规生产 Agent 循环替换为模型无关编排层(仅改变 Harness),每个任务混合成本降低 41%。
5.8 跨会话记忆与状态持久化
核心问题:LLM 是无状态算法。没有持久记忆层,每个会话从零开始。
收敛的四层记忆架构:
- 短期工作记忆:上下文窗口内。易失——会话结束即清除
- 情景记忆:按序存储特定过去事件。支持"你为什么做那个决定?“的重建
- 语义记忆:泛化的事实知识,通过嵌入搜索检索
- 程序/技能记忆:编码的操作程序、启发式、约束
关键开放问题:记忆过时治理——关于用户雇主的高频检索记忆在他们换工作前是准确的。检测和修复过时、被投毒或过度作用域记忆的治理框架仍处于早期阶段。
六、各大厂如何解决这些难点
6.1 Anthropic(Claude Code)
Anthropic 在 2025 年 11 月的工程博客 “Effective Harnesses for Long-Running Agents” 中最清晰地阐述了其 Harness 哲学。
架构决策:
- 长时间运行的两 Agent 架构:初始化 Agent 运行一次——将 prompt 展开为结构化的
feature-list.json并写入init.sh。编码 Agent 反复唤醒,每次会话在一个功能上取得增量进展,提交,并留下claude-progress.txt给下一个会话。外部文件就是记忆。 - 推理与权限执行分离:模型决定做什么;独立代码路径决定是否允许。安全检查不能被越狱绕过,因为它们在独立系统中。
- Tool Search Tool(2025 年 11 月):单个搜索工具按需检索和加载所需工具,Opus 4 准确率从 49% 跳升至 74%。
- 上下文压缩 + 磁盘持久化:快照、可回滚的文件变更、CLAUDE.md 作为持久锚点。
- 系统 prompt 动态组装:不是静态字符串——从模块化区段构建函数在运行时动态组装。边界标记将其分为全局可缓存前缀和会话特定后缀。
- 27 个内置工具:覆盖文件操作、Shell 执行、Web 获取、代码搜索、记忆操作和子 Agent 委派。
关键洞见:Anthropic 随着模型改进多次重新架构 Claude Code 的 Harness,剥离模型不再需要的脚手架拐杖。
6.2 OpenAI(Codex)
Codex 于 2025 年 5 月启动,由 codex-1(为软件工程优化的 o3 RL 训练变体)驱动。到 2026 年运行 GPT-5.5。
架构决策:
- 每任务隔离云环境:每个 Codex 任务在预加载仓库的独立云 VM 中运行。完全异步(1-30 分钟)。
- 解耦设计:LLM 推理循环与工具执行分离。核心用 Rust(codex-rs)编写。
- RL 训练在真实编码任务上:
codex-1被训练为迭代运行测试直到通过——奖励信号是通过测试套件。 AGENTS.md文件:OpenAI 的CLAUDE.md等价物——存活于上下文重置的持久行为指导。- 规模:到 2026 年 3 月周活跃用户 200 万+;3 个工程师在 5 个月内用 Codex 构建了约 100 万行代码。
- 极端 Harness Engineering:OpenAI Frontier 团队交付了 1500+ PR 和零人工编写代码,证明了 Harness 质量可以完全替代人工编码。
6.3 Google(Jules + Gemini CLI)
Jules 于 2024 年 12 月启动,2025 年 8 月 GA。
架构决策:
- 队列优先于聊天:唯一围绕任务队列而非实时聊天构建的主要编码 Agent。描述任务、走开、取回 PR。这是一个明确的架构选择——默认异步。
- 每任务隔离 Google 管理的 VM:每个任务在独立 VM 中运行。输出始终是可审查的 PR。
- 大脑与双手解耦:Harness(执行环境、异步队列、PR 交付)稳定;底层 Gemini 模型独立升级。
- 会话内模型路由:Gemini Pro 用于规划和困难任务;Gemini Flash 用于同一 Agent 运行中的较轻子任务。
- 200 万 token 上下文窗口(Gemini 3.1):大型代码库可放入上下文而无需检索增强。
6.4 IDE 集成 Agent
Cursor:
- 三模式架构:Composer(快速内联多文件)、Agent Mode(计划后执行)、Background Agents(异步服务端)
- 同一 Claude 模型在不同 Harness 中的表现:46% → 80%。Harness 质量是主要变量
- Cursor 3(2026 年 4 月):Agent 优先界面;IDE 降级为回退面板
- 5 亿美元 ARR(2025 Q4);估值 ~90 亿美元
Windsurf(Cascade):
- 从零开始构建的单一深度集成 Agentic 表面——无模式切换
- “Flow state"模型:Agent 预测下一步需要什么(检查相关测试、类型定义),无需显式提示
- Wave 13(2026 Q1):使用 Git worktree 的并行 Agent——多分支同时修改
开源阵营:
- Cline / OpenCode:完整 MCP 支持;模型无关;可脚本化和可组合。OpenCode:13.5 万 GitHub stars
- Aider:最小足迹哲学——无 GUI、无云、专家终端助手
关键架构分叉:IDE 原生 Agent 优化 UX 深度和编辑器内自主性;开源 Harness 优化灵活性、模型无关性和 CI/CD 管道中的可组合性。
6.5 开源框架
| 框架 | 核心创新 | 规模 |
|---|---|---|
| LangGraph | 基于图的有状态工作流,持久执行,对 Agent 循环的精确控制 | v1.0(2025.11) |
| CrewAI | 角色扮演多 Agent 协作;快速原型速度 | 52,800 stars, 520 万/月下载 |
| AG2 / AutoGen | 事件驱动架构,异步消息传递 | 并入 Microsoft Agent Framework |
| OpenAI Agents SDK | 轻量 Python,100+ LLM 支持,追踪,护栏 | 26,900 stars, 1030 万/月下载 |
| OpenHands | 自主全栈编码 Agent,Docker 沙箱 | SWE-bench 72%(Claude Sonnet 4.5) |
实际生产部署案例:Spotify 的"Honk"系统自 2024 年中以来已在数百个仓库中合并 1,500+ AI 生成的 PR,通过验证循环解决 Agent 可靠性问题。
七、关键学术论文
| 论文 | 核心贡献 |
|---|---|
| ReAct(Yao et al., 2022) | 建立 Thought → Action → Observation 循环——Agent Loop 的原型 |
| SWE-agent(Yang et al., NeurIPS 2024) | 证明 Agent-Computer Interface 设计对编码性能的影响与模型本身一样大 |
| Agentic Harness Engineering(arXiv:2604.25850) | 引入 AHE 作为闭环系统,使用可观测性数据围绕固定模型演进 Harness |
| Don’t Blame the LLM(arXiv:2607.03691) | 同一基模型在不同 Harness 中 Terminal-Bench 分数波动 30–50 个百分点 |
| The Harness Effect(arXiv:2607.06906) | 形式化编排设计如何设定 token 经济学 |
| HarnessX(arXiv:2606.14249) | 提出构建和演进 Harness 的通用框架 |
| Inside the Scaffold(arXiv:2604.03515) | 编码 Agent 架构的源码级分类法 |
| Dive into Claude Code(arXiv:2604.14228) | 分析 Claude Code 的设计空间 |
| Agent Harness Survey(TMLR, under review) | 110+ 论文、23 个系统的系统性综述 |
八、总结
核心论点
Harness Engineering 的核心论点可以用一句话概括:可靠 AI Agent 的瓶颈不是模型能力,而是模型周围的系统工程质量。
65% 的企业 AI Agent 失败可追溯到 Harness 缺陷(上下文漂移、Schema 不对齐、状态退化),而非模型缺陷。同一模型在不同 Harness 中的性能可以波动 30-50 个百分点。在生产中运送可靠、经济可持续 Agent 的团队,都是那些把 Harness 作为主要工程表面来对待的团队。
问题-方案映射
| 难点 | 当前最佳方案 |
|---|---|
| 上下文溢出 | 外部工件记忆 + 增量提交 + 上下文压缩 |
| 工具过载 | RAG 动态工具加载 + 激进工具精简 |
| 错误恢复 | 推理层反思 + 断路器 + 舱壁隔离 |
| 评估 | SWE-bench Verified + Harness 消融研究 |
| 安全 | 推理/权限系统分离 + 沙箱遏制 |
| 成本 | 模型路由 + Prompt 缓存 + 批处理 API |
| 多 Agent 协调 | 基于图的状态 + 输出 Schema 验证 + 舱壁 |
| 会话持久化 | 四层记忆 + 多作用域标签 + 过时治理 |
趋势
随着模型能力趋于收敛,竞争壁垒正从模型选择转向 Harness 质量。使用同一 LLM 但不同 Harness 的两个产品,将产生截然不同的用户体验。新型 AI 工程师的角色是:系统架构师、约束设计师、反馈循环构建者、质量策展人——而非直接的代码作者。
这不是 Prompt Engineering 的替代,而是它的超集。Harness Engineering 包含 Context Engineering,后者包含 Prompt Engineering。但驱动力在每个阶段都是相同的:无论 LLM 能力多强,可靠的生产系统都需要模型周围的可执行环境作为约束性工程表面。
参考资料
博客
- Mitchell Hashimoto: My AI Adoption Journey(2026.02.05)
- Vivek Trivedy / LangChain: Improving Deep Agents with Harness Engineering(2026.02.17)
- Birgitta Böckeler / Martin Fowler: Harness Engineering(2026.02–04)
- Ryan Lopopolo / OpenAI: Extreme Harness Engineering for Token Billionaires(Latent Space, 2026.04)
- Anthropic Engineering: Effective Harnesses for Long-Running Agents(2025.11)
- OpenAI: Harness Engineering: Leveraging Codex
- Cursor: Continually Improving Our Agent Harness
学术论文
- ReAct: Synergizing Reasoning and Acting(Yao et al., 2022)
- SWE-agent: Agent-Computer Interfaces(Yang et al., NeurIPS 2024)
- Agentic Harness Engineering(arXiv, 2026)
- Don’t Blame the LLM(arXiv, 2026)
- The Harness Effect(arXiv, 2026)
- HarnessX(arXiv, 2026)
- Inside the Scaffold(arXiv, 2026)
- Dive into Claude Code(arXiv, 2026)
- Agent Harness Survey(TMLR, under review)
- Context Engineering: A Practitioner Methodology(arXiv, 2026)
- The Prompt Report(arXiv, 2024)
行业分析
- Faros.ai — Harness Engineering
- Augment Code — Harness Engineering for AI Coding Agents
- Arize AI — What Is an Agent Harness?
- Databricks — What is an AI Agent Harness?
- Agent Harness — Wikipedia
- Atlan — Prompt vs Context vs Harness Engineering
- Awesome Harness Engineering — GitHub
- From Prompt to Harness Engineering — Medium
- Mem0 — State of AI Agent Memory 2026
- OWASP Prompt Injection 2026