5分钟快速上手:best-of-Agent-Harnesses 帮你挑出第一把AI Agent方向盘的完整指南
5分钟快速上手:best-of-Agent-Harnesses 帮你挑出第一把AI Agent方向盘的完整指南
如果你正在为 AI Agent 选型发愁,best-of-Agent-Harnesses 值得第一时间看:这是一份每周重新打分的 AI Agent Harness(智能体运行框架)排行榜,收录了 160 多个项目,附带选型指南、模板、Playbook、10 个自检 Skills 和一个 MCP 服务器。简单说,模型是发动机,harness 才是方向盘——这篇文章带你 5 分钟完成从"看不懂"到"选出来"的全过程。
什么是 AI Agent harness?为什么"方向盘比发动机重要"?
先用一个类比:
- 模型(Model):发动机,负责思考和生成;
- Harness(运行框架):方向盘、刹车、仪表盘,决定模型的思考被允许碰到什么——有哪些工具、哪步需要人批准、崩了之后怎么恢复。
这个仓库里的基准数据很有冲击力 📊:同一份模型权重,裸跑 ARC-AGI-3 只有约 30%,放进 Prime Agent 的 harness 里达到 95.5%;在 SWE-bench Pro 上,只换 harness 不换模型,GLM-5.2 的通过率从 23% 提升到 52%。更关键的是:harness 排名几乎不能跨模型迁移(相关系数约 -0.05),所以模型和 harness 要当一对来选,换模型时要重新选。
5分钟上手:4步拿到你的第一把方向盘
第1步:克隆仓库,把资料放在本地
仓库是纯 Markdown + JSON 的资料库,不装任何运行时:
git clone https://gitcode.com/gh_mirrors/be/best-of-Agent-Harnesses
第2步:从"用例索引"对号入座,而不是从框架名开始
README 里的 Pick by use case 一节列了 14 种真实需求,每种直接给出 2~7 个精选推荐,例如:
- "今天就要一个开箱即用的编码 Agent" → opencode、Cline、Codex、Gemini CLI、OpenHands
- "想要一个住在聊天软件里的常驻个人 Agent" → OpenClaw、Hermes、Khoj
- "想给 Agent 加记忆层" → Mem0、Graphiti、claude-mem
这一步通常就能把 160+ 个项目砍到个位数。
第3步:用"6个问题"决策法锁定 2~3 个候选
comparisons/how-to-pick-a-harness.md 给出按顺序回答的 6 个问题,每个问题都能淘汰一批项目:
| # | 问题 | 关键判据 |
|---|---|---|
| 1 | 你到底要它干什么 | 对照用例索引缩小范围 |
| 2 | 愿意承担多重的"包袱" | 简单度 4 档:super simple → complex,选能解决问题的最低档 |
| 3 | 给它多长的绳子 | 自主性:step-gated → headless(★ 标 = 可无人值守) |
| 4 | 出错了怎么办 | 恢复能力:retry → resumable → durable(✱ 标 = 状态可持久化) |
| 5 | Token 账单谁付 | 常驻型 Agent 闲时也在烧钱,先算成本形态 |
| 6 | 能体面地离开吗 | 开放格式(AGENTS.md)、标准协议(MCP)、宽松许可证 |
第4步:试驾,用你自己仓库的任务做最终裁决
规格参数回答不了"到底哪个好用",因为 Agent 表现是 harness + 模型组合 的属性。comparisons/how-to-test-drive-a-harness.md 给了一套两周试驾协议:公平配置、取自自己 git 历史的任务、7 项指标、一个"走人测试"。
更省事的做法是直接用仓库里的 skills/harness-test-drive/:让 Claude Code、Codex、Gemini CLI 跑你自己仓库的任务,用你自己的测试打分,输出每个候选的通过率、单任务成本和时间。
不止是榜单:模板、Playbook 和自检工具
选定 harness 之后,仓库还管"落地"这一段:
即抄即用的模板(templates/)
- templates/agents-md/AGENTS.md:一份 Codex、Claude Code、Cursor、Copilot 等 7 类工具都读的"简报文件",写一次,处处生效;
- templates/claude-code-safe-settings/:两个文件防止 Agent 强推、误删、读密钥,复制即用;
- templates/minimal-harness/harness.py:约 180 行的 Python 最小 harness,含循环、三个工具、权限门、上下文文件、回合预算和崩溃恢复——想理解 harness 内部构造,读它就够。
按步骤走的 Playbook
- playbooks/one-agents-md-for-every-coding-agent.md:为你的仓库填出一份所有编码 Agent 都读得懂的 AGENTS.md。
10 个装进你 Agent 的自检 Skills
skills/README.md 收录了 10 个可安装技能,每个都跑脚本、给数字、不出网(除非你明确要求):
- skills/sandbox-check/:一分钟内查清你的 Agent 到底能碰到哪些密钥文件、Docker、sudo;
- skills/guardrail-tester/:用约 90 条危险命令测试你的权限规则拦住了几条;
- skills/runaway-guard/:Agent 死循环、持续失败或超预算时自动刹车的钩子;
- skills/session-waste-report/:定位你在 Token 上花冤枉钱的习惯。
让你的 Agent 直接查这份榜单(MCP)
仓库内置了一个单文件 MCP 服务器(源码见 mcp/server.py),装进 Claude Code / Cursor / Codex 后,可以直接问 Agent:
claude mcp add agent-harnesses -- uvx agent-harnesses-mcp
然后说"帮我推荐一个能跑在聊天软件里的常驻个人 Agent",recommend 工具会给出一个有倾向性的首选、两个备选,以及该避开的坑(如已归档或疑似刷星的项目)。结构化数据也可直接看 harnesses.json 和 llms.txt。
新手最常踩的 3 个坑
- 看星数就选——榜单里有"墓地区"(Graveyard):上游已归档或疑似刷星的项目被单独隔离。一个被归档的明星仓库不会再收到任何修复,README.md 底部有名单。
- 把别人模型的排名当结论——harness 排名跨模型几乎不迁移,你的 harness 必须配你的模型重新验证。
- 直接上最重的平台——选最低能解决问题的简单度档位;技能包 < 库 < 平台,每升一级都是后续要维护、要安全加固、最终要迁移的负担。
关键路径速查
| 资料 | 路径 | 用途 |
|---|---|---|
| 主榜单与用例索引 | README.md | 分类排行榜、Pick by use case |
| 决策指南 | comparisons/how-to-pick-a-harness.md | 6 问题选型法 |
| 试驾协议 | comparisons/how-to-test-drive-a-harness.md | 两周实测流程 |
| 为什么 harness 重要 | comparisons/why-the-harness-matters.md | 基准数据与出处 |
| 最小 harness 源码 | templates/minimal-harness/harness.py | 180 行看懂原理 |
| 自检技能清单 | skills/README.md | 10 个 Skills |
| MCP 服务器 | mcp/server.py | 让 Agent 查榜单 |
| 结构化数据 | harnesses.json | 机器可读全量数据 |
总结:AI Agent harness 的选择值得和选模型一样认真。路径很简单——用例索引缩小范围 → 6 问题法锁定候选 → 用自己的仓库试驾 → 抄模板、装 Skills 落地。榜单每周重打分,你的方向盘也值得定期回检一次。
