上一篇我们聊过 Agent Harness 已死了吗:去繁就简,结论是模型够强以后,外面那层花哨的脚手架可以拆。
这篇是 Anthropic 今年 3 月发的一篇长文:Harness design for long-running application development,可以从另一个视角当作续集来看。
作者是一位 Anthropic 工程师,之前做过 frontend design skill 和 long-running coding agent harness,两项工作都通过提示词工程和 harness 设计把 Claude 的表现拉到远超基线,但双双撞到了天花板。
Note
核心结论一句话:受 GAN 启发,搭一个生成器 + 评估器的对抗结构,再加一个规划器,三个 agent 能在数小时的自主编程里产出完整的全栈应用。
而 harness 的空间不会随模型进步而缩小——它只会移动。
两个老大难问题
先交代背景。Anthropic 早期那版 long-running harness 是这么跑的:一个 initializer agent 先把产品 spec 拆成一份任务清单;一个 coding agent 一次只从清单里领一个 feature 来实现;一个会话干不动了,就把交接产物(artifact)传给下一个会话,把上下文带过去。开发者社区也独立摸到了类似玩法,比如流传较广的Ralph Wiggum方法——用 hooks 或脚本把 agent 拴在一个不停迭代的大循环里,不让它停下来交差。
这套东西确实有用。但任务一复杂,agent 还是会随时间推移跑偏。作者把「跑偏」拆开分析,定位到两个失败模式——后面所有的 harness 设计,都是在逐一回应这两个问题。
问题一:上下文填满之后,模型开始「提前收工」
第一层是显性的:任务越长,context window 填得越满,模型逐渐丢失连贯性——前面定下的架构约定、命名风格、还没修完的 bug,慢慢淡出它的「注意力」,后面写的代码就开始和前面打架。
第二层更隐蔽,作者管它叫 context anxiety(上下文焦虑):模型接近它自己认为的上下文极限时,会开始提前收尾——活儿还没干完,就开始写总结、宣布完成。注意关键词是它自己认为:不是真到了极限,是模型自己觉得快到了,于是主动踩了刹车。
示意一下,放到一次 build 里大概长这样:
spec 拆出来 10 个 feature。agent 做到第 7 个,回头看了看这轮对话已经堆了多长,心想「上下文快满了」,于是跳过剩下的 3 个,直接开始写「工作总结 + 后续建议」——一次体面的、半途而废的交付。
文章给了两种解法,区别值得掰清楚:
| compaction(压缩) | context reset(重置) | |
|---|---|---|
| 做法 | 把对话的前半段原地摘要,同一段历史变短 | 彻底清空上下文,起一个全新的 agent |
| 谁来接手 | 还是同一个 agent,接着干 | 全新的 agent,从零开始 |
| 连续性 | ✅ 保留 | ❌ 断开,全靠交接 |
| 干净起点 | ❌ 没有——历史依然很长,焦虑照样发作 | ✅ 有——「失忆」和「焦虑」两个问题一起解决 |
| 前提 / 代价 | 实现简单,开销小 | 交接文件必须装下足够的状态(当前进度 + 下一步),否则新 agent 接不上;外加编排复杂度、token 开销、每次 run 的延迟 |
🎨 插图 1 · 生成提示词(图片生成后删除本段):
扁平化技术示意插画,白色背景,蓝灰主色调,橙色点缀,简洁几何矢量风格。画面分左右两个面板:左面板顶部写「Compaction」,一根很长的横向彩色条纹被压缩成一小截,同一个略显疲惫的蓝色机器人拿着这截短条纹继续工作,机器人头顶有一滴汗和一个问号,表达「还是焦虑」;右面板顶部写「Reset」,一个装满彩色方块的方框正在被清空,一份发光的文档(交接文件)从旧机器人手里递给一个崭新发亮的机器人,新机器人脚下画一条起跑线,表达「干净起点」。画面文字只保留 Compaction 和 Reset 两个英文单词,其余信息全部用图形表达,避免出现乱码文字。
两个实证数据点:
- Sonnet 4.5:焦虑严重到 compaction 单独救不回来,context reset 成了那一代 harness 的必需设计——代价就是上表最后一行。
- Opus 4.5:这个毛病基本自己消失了,reset 又被整个删掉。
这个「加上 → 拆掉」的反复是全文最好看的一条暗线:harness 的每个组件,都是在补偿某个具体模型的具体短板;短板没了,组件就该拆。
问题二:自己给自己打分,永远是高分
第二个失败模式跟「心理」有关:让 agent 评估自己刚做出来的东西,得到的往往是自信满满的夸奖——哪怕在人类眼里质量明显平庸。
设计类任务是重灾区。代码好歹能跑测试,「这个布局是精致还是套模板」没有等价于软件测试的二值校验,纯粹是判断题;而 agent 给自己的判断题打分时,稳定地向正向偏移。
更麻烦的是,这毛病不限于主观任务——就算任务有可验证的结果,agent 在执行过程中也经常表现出糟糕的判断,反过来拖累任务本身的完成度。
作者的解法是结构性的:
Important
把干活的 agent 和打分的 agent 拆开。
但要注意:分离本身并不会立刻消除宽容——评估器也是 LLM,天生倾向于对 LLM 产物手下留情。真正的杠杆是一个不对称性:
把一个独立的评估器调成挑剔,远比让一个生成器学会自我批评容易得多。
而一旦这个外部反馈存在,生成器就有了可以对着迭代的具体靶子。
这句话是整篇文章的地基:后面的四条评分标准、sprint 合同、Playwright QA,全是「先造一个可信的外部评判者,再让生成器对着它迭代」这个思路的不同落地。
前端实验:把「好不好看」变成可打分
不干预时,Claude 的前端产出总是安全、可预期的布局:功能上没毛病,视觉上毫无记忆点。
作者的两个洞察:
- 审美没法完全还原成分数,但可以编码成一组设计原则。「这个设计美吗」没法一致回答,「这个设计符合我们的设计原则吗」就可以打分了。
- 生成和评分分离,就能形成一个把生成器往更强产出推的反馈回路。
具体是四条评分标准,同时写进生成器和评估器的提示词:
| 维度 | 看什么 | 权重 |
|---|---|---|
| Design quality | 颜色、排版、布局、图像是否合成一个有独特情绪和身份的整体,而不是零件堆砌 | 高 |
| Originality | 有没有人类设计师能认出的主动创意决策;模板布局、库默认值、白卡片上紫色渐变这类 AI 味模式直接 fail | 高 |
| Craft | 字体层级、间距一致性、对比度等技术执行,是能力底线检查 | 低 |
| Functionality | 用户能不能不靠猜就找到主操作、完成任务 | 低 |
权重刻意压向前两者:Craft 和 Functionality 模型默认就做得不错,短板全在设计和原创性上。
工程实现:
- 用 Claude Agent SDK 编排,生成器按 prompt 产出 HTML/CSS/JS 前端
- 评估器拿到 Playwright MCP,自己打开真实页面、截图、仔细研究之后逐项打分、写详细批评——评的是活页面,不是静态截图
- 反馈回流给生成器进入下一轮;生成器每轮后还要做战略决策:分数趋势好就
精化当前方向,不行就整个美学方向推倒重来 - 用带详细分数拆解的 few-shot 校准评估器,对齐作者本人的偏好、减少跨轮次的分数漂移
🎨 插图 2 · 生成提示词(图片生成后删除本段):
扁平化科技插画,白色背景,蓝灰主色调配一个橙色强调色,矢量风格。画面主体是一个顺时针闭环:左下角一个拿画笔的机器人「生成器」,正在画出一个浏览器窗口模样的网页设计;右上角一个戴圆框眼镜、一手拿放大镜一手拿红笔的机器人「评估器」,正在检查另一个真实浏览器窗口里的网页,它身旁漂浮一张打分卡,卡上是四个横向评分条;一条橙色反馈箭头从评估器弯回到生成器面前,闭合成环;环路上画一个小转盘,标着 5 到 15 的刻度,表达迭代轮数。画面文字只保留 Generator、Evaluator 两个英文单词,打分卡用进度条和星星表达,避免出现乱码。
数据与发现:
- 每次生成跑 5~15 轮迭代,因为评估器是真的在导航页面,整轮跑下来最长 4 小时
- 分数随迭代上升后进入平台期,且不是线性——后期整体更好,但作者经常更喜欢某一版中间迭代
- 措辞本身就在塑造产出:标准里写「最好的设计是 museum quality」,结果所有设计都往某个特定视觉方向收敛
- 最惊艳的例子:让做一个
荷兰美术馆网站。第 9 轮产出的是干净但符合预期的暗色 landing page;第 10 轮推翻全部重来,把网站重构成一个空间体验——CSS 透视渲染的格子地板 3D 房间、画作以自由位置挂在墙上、展厅之间靠「走门洞」导航而不是滚动或点击。这是单次生成里从没见过的创造性跳跃。
全栈架构:三剑客
把 GAN 式循环搬到全栈开发上,代码评审和 QA 天然就是那个「评估器」的角色。
先补一条前情提要:上一代 harness 跑在 Sonnet 4.5 上,context reset 是必需品;这一版换到 Opus 4.5,焦虑自己消失了,reset 直接删掉——三个 agent 跑在同一个连续会话里,上下文增长全靠 Claude Agent SDK 的自动 compaction 兜底。
最终是三个 agent 人设:
🎨 插图 3 · 生成提示词(图片生成后删除本段):
扁平化系统架构插画,白色背景,蓝灰主色调,矢量风格。三个机器人从左到右排布:左侧是拿铅笔的规划师机器人,把一个只含两个点的小对话气泡变成一份厚厚的规格文档(文档上标 Spec);中间是戴安全帽、对着笔记本电脑敲代码的建造者机器人,旁边一摞功能积木、一次只搬一块,身后有 git 分支曲线图标;右侧是拿放大镜和打勾检查清单的质检机器人,面前是一个被鼠标点击着的浏览器窗口。建造者与质检之间有一份双向传阅的合同文档(标 Contract)和一条从质检指回建造者的红色反馈箭头(标 Feedback),角色间用箭头连接。画面文字只保留 Spec、Contract、Feedback 三个英文单词,避免出现乱码。
Planner(规划器)
以前的 harness 要求用户先给一份详细 spec,这步被自动化了:输入只要 1~4 句话,输出一份完整产品 spec。
刻意要求它对范围雄心勃勃,但只写产品上下文和高层技术设计,不写细粒度实现细节——怕 spec 里的错误级联到下游实现。约束「交付什么」,路径让后面的 agent 自己想。
还会主动往 spec 里织入 AI 功能点。
Generator(生成器)
沿用早期 harness 验证过的一次一个 feature模式,以 sprint 方式从 spec 里领活。
技术栈 React + Vite + FastAPI + SQLite(后来换 PostgreSQL),带 git 做版本控制,每个 sprint 结束先自评再交 QA。
Evaluator(评估器)
用 Playwright MCP 像真实用户一样把运行中的应用点一遍:测 UI、API 端点、数据库状态。
按 product depth、functionality、visual design、code quality 打分,每项有硬阈值,任何一项不达标,这个 sprint 就算失败,生成器拿到详细反馈返工。
两个值得一提的机制:
- Sprint contract(冲刺合同):每个 sprint 动手写代码之前,生成器和评估器先谈判——生成器提议这轮做什么、怎么验证成功,评估器审查是不是在做「对的东西」,谈到一致为止。因为 spec 故意是高层的,需要这一步桥接「用户故事」和「可测试实现」。
- 通信全靠文件:一个 agent 写文件,另一个读完后在同文件或新文件里回应。简单,但够用。
实验一:复古游戏机制作器
用 Opus 4.5 跑同一句 prompt 的两个版本:
Create a 2D retro game maker with features including a level editor, sprite editor, entity behaviors, and a playable test mode.
harness 版比单 agent 版贵 20 倍以上,但产出质量差距立竿见影。
单 agent 版:乍看符合预期,点进去全是问题——固定高度的面板浪费了大半视口;工作流僵硬,UI 里没有任何东西引导你「先建精灵和实体再填关卡」;最致命的是游戏本身是坏的:实体出现在屏幕上但完全不响应输入,翻代码才发现实体定义和游戏运行时之间的接线断了,界面上毫无线索。
harness 版:同样一句话,planner 扩成 16 个 feature、10 个 sprint 的 spec——除了核心编辑器和试玩模式,还有精灵动画系统、行为模板、音效音乐、AI 辅助精灵生成器和关卡设计器、带分享链接的游戏导出。planner 还读了 frontend design skill,为应用定了一套视觉设计语言。
画布铺满视口、面板尺寸合理、有一致视觉身份;精灵编辑器工具更丰富;play mode 真的能玩;因为 spec 里织入了 AI 功能,应用内置 Claude 集成,直接用提示词生成游戏各个部分,工作流快了一大截。
评估器的认真程度可以从日志里看到:单是 Sprint 3(关卡编辑器)就有 27 条验收标准,每条都通过 Playwright 实际操作验证,报出的 bug 具体到不需要额外调查就能直接修。
但评估器不是开箱即用的:
Tip
开箱的 Claude 是个很差的 QA。作者亲眼看到它先发现真问题,然后自己说服自己这不算大事,照样放行;测试也浮于表面,不主动探边界情况,隐蔽 bug 大量漏网。
调法:读评估器日志 → 找出它的判断和自己不一致的例子 → 改 QA 提示词补上这个洞。循环几轮后才勉强合格。
做减法:每个组件都是一个假设
第一版结果喜人,但笨重、慢、贵。下一步是简化,这里出现了全文最普适的一条原则:
Important
harness 里的每个组件,都编码了一个「模型自己做不到」的假设。
这些假设值得压力测试——它们可能一开始就是错的,也可能随模型进步迅速过期。
作者第一次激进地把 harness 砍到只剩骨架,性能复现不出来,而且再也分不清哪些设计是承重墙。于是改成方法论式的:一次只删一个组件,观察对最终结果的影响。
恰逢 Opus 4.6 发布:计划更谨慎、agentic 任务持续更久、大代码库更可靠、自我纠错和长上下文检索都强了——这些恰好就是 harness 一直在补的能力。
于是:
- 删掉 sprint 结构——4.6 已经能原生地在大任务里保持连贯,不需要人为分块
- 保留 planner——没有它生成器会 under-scope,直接开写,产出的应用功能明显更少
- 评估器从逐 sprint 打分改成最后一轮一次性 QA
由此引出一个很有操作性的概念——边界移动:
4.5 时代:任务贴着模型能力边界跑,评估器全程都在抓真问题
↓ 模型变强,边界外移
4.6 时代:边界内的任务,评估器纯属开销
边界上的部分,评估器依然带来真实提升🎨 插图 4 · 生成提示词(图片生成后删除本段):
扁平化概念对比插画,白色背景,蓝灰主色调,矢量风格。左右两组同心圆,中间一根从左指向右的粗箭头表达模型升级:左组标「4.5」,中心是中等大小的实心圆(模型能力),外围一圈虚线(能力边界),边界上散布几个任务方块,一个拿放大镜的机器人正把其中一个方块往边界外推;右组标「4.6」,实心圆明显变大、虚线边界向外扩张,落在边界内的任务方块全部变成绿色对勾(不再需要质检),仍贴着边界的方块旁边站着一个举小旗的质检机器人(依然有价值)。画面文字只保留 4.5、4.6 两个数字标签,其余用图形表达,避免出现乱码。
评估器不是固定的开关,而是一个成本决策:任务超出当前模型 solo 能可靠搞定的范围时,才值回它的成本。
实验二:浏览器里的 DAW
用精简后的 harness(Opus 4.6)跑:
Build a fully featured DAW in the browser using the Web Audio API.
数据:跑了约 4 小时、$124 的 token 成本;builder 在没有 sprint 分解的情况下连贯干了 2 个多小时——这是 4.5 需要靠分块才能换来的。
QA 依然抓到了真缺口。第一轮反馈:
应用设计保真度高、AI agent 扎实、后端良好,但核心 DAW 功能有些是 display-only:clip 在时间轴上拖不动、没有乐器面板(合成器旋钮、鼓垫)、没有效果器编辑器(EQ 曲线、压缩表)。这些不是边角情况——是让 DAW 可用的核心交互,spec 里明确要求了。
第二轮又抓住:录音按钮是纯 stub(点了切换状态但没有麦克风采集)、clip 不能拖边 resize 也不能 split、效果器是数字滑块而不是图形化 EQ。
也就是说:模型再强,最后一步的偷懒和 stub 依然存在,QA 仍在创造真实价值。
最终产出离专业音乐软件很远(Claude 听不见声音,音乐品味这条反馈回路天然残缺),但 arrangement view、mixer、transport 都真的能跑,而且能完全靠提示词让内置 agent 端到端做一小段歌:设 tempo 和调性 → 铺旋律 → 打鼓 → 调混音电平 → 加混响。
空间不缩小,只移动
文章结尾回应了「模型变强后 harness 还重要吗」:
- 一方面,模型变强,某些脚手架确实会
自己消失——开发者甚至可以选择等下一代模型让问题自动解决 - 另一方面,模型越强,能搭出的 harness 天花板也越高——以前不可能的复杂任务,现在够得着了
三条可以直接带走的实践:
- 对着你实际用的模型做实验,在真实问题上读它的 trace,调到你想要的结果
- 复杂任务上,
任务分解 + 每个 aspect 配专门 agent仍有空间 - 新模型落地时,重新审视 harness:拆掉不再承重的组件,加上以前不可能的新组件
Note
作者的原话:harness 组合的空间不会随模型进步而缩小,它只会移动。AI 工程师有趣的工作,就是不断找到下一个新组合。
对照上一篇:Cursor 那边的结论是「harness 越来越薄、做减法」,Anthropic 这篇并不矛盾——减法和加法是同一件事的两面,都是对「模型现在能做到哪」这个边界的重新校准。
上篇说「工具可以换,带不走的东西才是损失」;这篇给了一个更动态的版本:每次新模型落地,都值得把 harness 拆开重新审一遍——哪些组件还是承重墙,哪些已经可以扔了。