为什么 AI 会"拒绝执行"任务?Axe 拒绝检测机制揭秘
为什么 AI 会"拒绝执行"任务?Axe 拒绝检测机制揭秘
Axe 是一个轻量级 CLI 工具,用于运行单一用途的 AI Agent(用 TOML 定义、随处触发)。但你是否遇到过这种情况:让 AI 干个活,它回了一句"I cannot help with that",而你的脚本却以为任务成功了?Axe 内置的**拒绝检测(Refusal Detection)**机制,正是为解决这个问题而生的。这篇文章将完整揭秘它的实现思路、设计取舍和实际用法。
为什么 AI 会"拒绝执行"?
先理解问题本身。当 LLM 拒绝请求时(例如涉及版权、安全或能力边界的任务),它会返回类似这样的文本:
- "I'm sorry, but I cannot assist with that request."
- "As an AI, I must decline this request."
- "I'm unable to process this."
关键在于:在 LLM 看来,这只是一次"成功"的调用——退出码是 0,stop_reason 是正常的 "stop" 或 "end_turn"。
这就带来一个工程难题:如果你的自动化流程(cron、git hook、CI 流水线)把 Axe 的输出接到下一个环节,程序根本无法区分"真正的结果"和"一句拒绝",除非你去逐字解析 content 字段。不同模型的拒绝措辞还各不相同,逐个硬编码判断更是不现实。
Axe 的解法:一个 refused 布尔字段
Axe 的官方方案很直接:在 --json 输出信封中新增一个 "refused" 布尔字段。当 LLM 的响应内容匹配到常见拒绝模式时,它就是 true,否则是 false。
- 检测逻辑独立在一个专门的包里:internal/refusal/refusal.go
- 结果字段在运行器中计算并写入 JSON 信封:pkg/runner/result.go
- 设计规格完整记录在 docs/plans/024_refusal_detection_spec.md
这样,拒绝检测逻辑被集中在 Axe 内部一处实现,而不是散落在每个集成方(比如 Agent Engine 这类编排系统)里重复造轮子。
检测机制内幕:它到底匹配什么?
检测函数 Detect(content string) bool 的核心逻辑(见 internal/refusal/refusal.go)非常克制:
1️⃣ 9 个基础拒绝模式
对完整响应内容做大小写不敏感的子串匹配,覆盖常见拒绝措辞:
| 模式 | 含义 |
|---|---|
i cannot / i can't |
直接拒绝 |
i'm unable to / i am unable to |
礼貌拒绝 |
i'm not able to / i am not able to |
委婉说法 |
i must decline |
正式拒绝 |
i don't have the ability / i do not have the ability |
能力限制型拒绝 |
2️⃣ 1 个复合模式:"as an ai" + 拒绝指示词
单独出现 "as an AI" 不算拒绝(模型可能只是以 AI 身份打招呼)。只有当内容同时包含 "as an ai" 标记和至少一个拒绝指示词(如 "i cannot")时,才判定为拒绝——这精准命中了"As an AI, I cannot provide medical advice."这类经典句式。
3️⃣ 三个容易被忽略的巧妙细节
- 全文扫描,而非只看开头:拒绝常常出现在客套话之后,比如 "I appreciate your question. However, I'm unable to help." 所以检测会扫描整段内容,哪怕拒绝句藏在 10KB 长文的末尾也能捕获。
- 词边界校验:匹配会检查指示词前一个字符是否是英文字母(internal/refusal/refusal.go)。因此 "The AI cannot process this."(第三人称)不会误报,而 "Unable to connect to database."(没有 "I" 前缀)也不会误报。
- 零正则、零依赖:仅用
strings.ToLower+strings.Contains实现,纯标准库,跨平台、无副作用、输入只读。
它做了什么,又"故意"不做什么?
规格文档中有一组值得学习的设计决策,边界划得非常清晰:
| 行为 | Axe 的做法 | 为什么 |
|---|---|---|
| 退出码 | 保持 0 不变 | 拒绝在 LLM 层面仍是"成功调用",自动化系统应看 refused 字段而非退出码 |
stop_reason |
保留原始值 | 不伪造一个 "refusal" 停止原因,不污染上游语义 |
| 纯文本输出 | 完全不受影响 | Axe 的输出必须随时可以安全地 pipe 给其他命令 |
| 内存追加 | 照常执行 | 拒绝也是一次有效响应,记忆行为保持一致 |
| 模式列表 | 硬编码、不可配置 | 保持简单,避免引入配置复杂度 |
还有一个明确的工程权衡:误报(false positive)比漏报(false negative)危害更小。比如 "Here's how you can't go wrong..." 中的 "you can't" 恰好含 "i can't" 子串,会被判为拒绝——官方认为这对脚本化场景是可接受的取舍。
实际使用:一行命令判断 AI 是否拒绝
拒绝检测仅在启用 --json 时生效。结合 jq,判断拒绝只需一行:
axe run my-agent --json | jq '.refused'
在自动化流程中的典型用法:
if [ "$(axe run reviewer --json | jq '.refused')" = "true" ]; then
echo "AI 拒绝了任务,重试或告警..."
fi
JSON 信封中 refused 字段始终存在(true/false 都会输出),保证下游消费者拿到一致的 schema。带工具的会话循环也一样:检测运行在最终响应内容上,即使中间经历了多轮工具调用和子 Agent 委派(可参考集成测试 cmd/run_integration_test.go)。
局限性与适用场景
官方文档也坦诚了边界(见 docs/src/cli/refusal-detection.md):
- 这是启发式检测,不是穷举。模型用罕见措辞拒绝时可能漏检
- 它定位为脚本与可观测性的轻量信号,不是保证
- 模式列表硬编码,无法自定义
所以它的最佳定位是:cron / CI / git hook 等无人值守场景中的第一道保险丝——先快速捕获绝大多数拒绝,再交给上层编排系统决定重试、换提示词还是告警。
总结
Axe 的拒绝检测机制体现了它一贯的极简哲学:
- 问题精准:只解决"程序无法区分拒绝与正常回答"这一个痛点
- 实现克制:9 个模式 + 1 个复合模式,纯标准库字符串匹配,零正则零依赖
- 边界清晰:不动退出码、不动
stop_reason、不污染纯文本输出 - 可组合:
refused字段让 cron、git hook、CI 等任何 Unix 工具链都能对 AI 拒绝做出反应
如果你想深入更多细节,可以从这几个入口入手:
- 核心检测逻辑:internal/refusal/refusal.go
- JSON 信封字段定义:docs/src/cli/json-output.md
- 完整设计规格:docs/plans/024_refusal_detection_spec.md
当 AI 学会说"不"时,你的脚本也应该学会听出来。这正是 Axe 想帮你做到的事。
