Comp AI CRM 技能评估体系:Blind Comparator 盲比较 Agent 的设计原理与实战指南
Comp AI CRM 技能评估体系:Blind Comparator 盲比较 Agent 的设计原理与实战指南
盲比较(Blind Comparison)是 skill-creator 技能创建与迭代闭环中的一种进阶评估手段:它让一个独立的 Comparator Agent 在不知道输出由哪个技能版本产生的前提下,对两份输出进行 A/B 质量裁决,从而消除对特定技能或实现路径的先入为主偏见。本文围绕 Blind Comparator Agent 规范 展开,完整讲解其输入参数、七步评估流程、内容/结构双维度评分矩阵、标准 JSON 输出契约,并结合 Comp AI CRM 仓库中的配套 Agent(Grader、Analyzer)、JSON Schema 与真实 eval 样例,说明如何在“新版本到底有没有更好”这类问题上获得可信结论。
为什么需要盲比较:消除评估偏差
在 skill-creator 的标准工作流中,技能改进主要依赖「人工审阅 + 量化断言(assertion)」两条腿:
- 人工审阅:通过
eval-viewer/generate_review.py让用户逐条查看输出并留下反馈; - 量化评估:由 Grader Agent 依据
evals/evals.json中的断言逐条判定 PASS/FAIL,生成grading.json。
但当用户提出“这个新版本真的比旧版本更好吗?”这类问题时,人工审阅和断言都面临一个共同缺陷:评估者知道哪个输出来自哪个版本。这种先验知识会污染判断——例如对“改进后”的版本天然抱有期待,或对“基线”版本潜意识降低标准。
盲比较系统正是为此设计。如 SKILL.md 中 “Advanced: Blind comparison” 一节所述:把两份输出交给一个独立的 Agent,不告诉它哪份来自哪个技能,让它纯粹基于输出质量裁决胜负,之后再通过 Analyzer 分析“为什么赢家会赢”。该机制属于可选进阶流程,需要子代理支持,多数场景下人工审阅闭环已经足够;但当版本之争需要更严格的证据时,它提供了可复现的裁决框架。
角色定位:一个“不知情”的裁判
Blind Comparator 的角色定义非常明确:
判断两份输出中哪一份更好地完成了 eval 任务。你会收到标记为 A 和 B 的两份输出,但你不知道它们分别由哪个技能产生。这防止了对特定技能或实现路径的偏见。你的判断完全基于输出质量与任务完成度。
从源码结构看,Comparator 位于 agents/comparator.md,与 Grader Agent(逐条断言判定)、Post-hoc Analyzer Agent(赢因分析与改进建议)构成 skill-creator 的三位一体验证体系,三者由 SKILL.md 的 Reference files 一节 统一索引,在使用场景上明确分工:Comparator 负责“谁赢了”,Analyzer 负责“为什么赢、怎么改进”。
输入参数
Comparator 在 prompt 中接收以下参数:
| 参数 | 含义 |
|---|---|
output_a_path |
第一份输出文件或目录的路径 |
output_b_path |
第二份输出文件或目录的路径 |
eval_prompt |
被执行的原始任务 / 提示词 |
expectations |
需要检查的期望列表(可选,可为空) |
注意 expectations 是可选项:它只作为次级证据辅助裁决,不作为首要决策依据。
七步评估流程
Step 1:读取两份输出
分别检查输出 A 和输出 B(文件或目录),记录各自的类型、结构与内容;若输出是目录,需要检查目录内所有相关文件。这一步强调完整读取,避免因只看表面文件而漏判。
Step 2:理解任务
仔细阅读 eval_prompt,明确任务要求:
- 应该产出什么?
- 哪些质量维度重要(准确性、完整性、格式)?
- 什么能把“好输出”和“差输出”区分开?
Step 3:生成评估评分矩阵(Rubric)
基于任务生成两个维度的评分矩阵,每个标准按 1–5 分打分:
内容评分矩阵(输出包含什么)
| 标准 | 1(差) | 3(可接受) | 5(优秀) |
|---|---|---|---|
| 正确性(Correctness) | 重大错误 | 少量错误 | 完全正确 |
| 完整性(Completeness) | 缺失关键要素 | 基本完整 | 全部要素齐全 |
| 准确性(Accuracy) | 显著不准确 | 少量不准确 | 通篇准确 |
结构评分矩阵(输出如何组织)
| 标准 | 1(差) | 3(可接受) | 5(优秀) |
|---|---|---|---|
| 组织性(Organization) | 杂乱无章 | 组织合理 | 清晰、逻辑严谨的结构 |
| 格式(Formatting) | 不一致 / 损坏 | 大体一致 | 专业、精致 |
| 可用性(Usability) | 难以使用 | 费力可用 | 易于使用 |
矩阵中的标准必须适配具体任务,原文档给出了三类典型适配示例:
- PDF 表单 → “字段对齐”“文本可读性”“数据放置”
- 文档 → “章节结构”“标题层级”“段落流畅度”
- 数据输出 → “Schema 正确性”“数据类型”“完整性”
Step 4:按评分矩阵评估每份输出
对输出 A 和 B 分别执行:
- 逐标准打分(1–5 分制);
- 计算维度总分:内容得分(content_score)、结构得分(structure_score),即各自维度内标准的平均值;
- 计算总体得分:两个维度得分的平均值,换算到 1–10 分制。
以规范中的示例计算为例:输出 A 内容分 (5+5+4)/3 ≈ 4.7,结构分 (4+5+4)/3 ≈ 4.3,总体分 (4.7+4.3)/2 = 4.5 后按比例换算为 9.0(1–5 均值 4.5 对应 1–10 的 9.0);输出 B 同理得到内容 2.7、结构 2.7、总体 5.4。
Step 5:检查断言(如提供)
如果提供了 expectations:
- 逐条对照输出 A;
- 逐条对照输出 B;
- 统计各自通过率(pass rate);
- 将断言得分作为次级证据使用,而不是首要决策因素。
Step 6:判定赢家
按优先级比较 A 与 B:
- 首要:总体评分矩阵得分(内容 + 结构);
- 次要:断言通过率(如适用);
- 平局裁决:若确实旗鼓相当,宣布
TIE。
规范明确要求“要果断——平局应属罕见。通常有一份输出更好,哪怕只是略微更好。”这也体现在边缘情况处理上(见后文 Guidelines)。
Step 7:写入比较结果
将结果保存为 JSON 文件,路径为指定的保存路径,未指定时默认 comparison.json。
标准输出格式:comparison.json 契约
Comparator 的 JSON 输出结构是下游 Analyzer、评估查看器的数据契约,必须严格遵守。完整结构如下:
{
"winner": "A",
"reasoning": "Output A provides a complete solution with proper formatting and all required fields. Output B is missing the date field and has formatting inconsistencies.",
"rubric": {
"A": {
"content": {
"correctness": 5,
"completeness": 5,
"accuracy": 4
},
"structure": {
"organization": 4,
"formatting": 5,
"usability": 4
},
"content_score": 4.7,
"structure_score": 4.3,
"overall_score": 9.0
},
"B": {
"content": {
"correctness": 3,
"completeness": 2,
"accuracy": 3
},
"structure": {
"organization": 3,
"formatting": 2,
"usability": 3
},
"content_score": 2.7,
"structure_score": 2.7,
"overall_score": 5.4
}
},
"output_quality": {
"A": {
"score": 9,
"strengths": ["Complete solution", "Well-formatted", "All fields present"],
"weaknesses": ["Minor style inconsistency in header"]
},
"B": {
"score": 5,
"strengths": ["Readable output", "Correct basic structure"],
"weaknesses": ["Missing date field", "Formatting inconsistencies", "Partial data extraction"]
}
},
"expectation_results": {
"A": {
"passed": 4,
"total": 5,
"pass_rate": 0.80,
"details": [
{"text": "Output includes name", "passed": true},
{"text": "Output includes date", "passed": true},
{"text": "Format is PDF", "passed": true},
{"text": "Contains signature", "passed": false},
{"text": "Readable text", "passed": true}
]
},
"B": {
"passed": 3,
"total": 5,
"pass_rate": 0.60,
"details": [
{"text": "Output includes name", "passed": true},
{"text": "Output includes date", "passed": false},
{"text": "Format is PDF", "passed": true},
{"text": "Contains signature", "passed": false},
{"text": "Readable text", "passed": true}
]
}
}
}
关键规则:如果未提供 expectations,expectation_results 字段必须整体省略。
字段说明
- winner:
"A"、"B"或"TIE" - reasoning:清晰说明为何选择该赢家(或为何平局)
- rubric:每份输出的结构化评分
- content:内容标准得分(correctness、completeness、accuracy)
- structure:结构标准得分(organization、formatting、usability)
- content_score:内容标准均值(1–5)
- structure_score:结构标准均值(1–5)
- overall_score:换算到 1–10 的综合得分
- output_quality:总结性质量评估
- score:1–10 评分(应与 rubric.overall_score 一致)
- strengths:正面方面列表
- weaknesses:问题或不足列表
- expectation_results:(仅在提供 expectations 时出现)
- passed:通过的期望数
- total:期望总数
- pass_rate:通过率(0.0 到 1.0)
- details:逐条期望结果
判断准则:如何做出可信裁决
规范给出的 Guidelines 是整个评估方法论的核心约束:
- 保持盲态(Stay blind):不要尝试推断哪个技能产生了哪个输出,纯粹基于输出质量裁决——这是盲比较区别于普通 A/B 评估的根本;
- 具体化(Be specific):解释优缺点时必须引用具体例子;
- 果断(Be decisive):除非两份输出确实等价,否则必须选出赢家;
- 输出质量优先(Output quality first):断言得分次位于整体任务完成度;
- 客观(Be objective):不要因风格偏好而偏袒某份输出,聚焦正确性与完整性;
- 解释推理(Explain your reasoning):reasoning 字段必须让人清楚理解赢家被选中的原因;
- 处理边缘情况(Handle edge cases):若两份都失败,选“失败得没那么惨”的那份;若两份都优秀,选“略微更优”的那份。
这些准则与 Grader Agent 的评分标准 一脉相承——Grader 同样强调“基于证据而非假设”“引用确切文本”“无部分得分(pass or fail,不给中间分)”,两者共同构建了 Comp AI CRM 技能评估体系中“可引用、可复核”的证据文化。
与后验分析器(Analyzer)的衔接:从“谁赢了”到“为什么赢”
盲比较只回答“谁赢了”,不回答“为什么赢、输家该怎么改”。这正是 Post-hoc Analyzer Agent 的职责:它在 Comparator 裁决后“揭盲”(unblinds),通过读取双方技能的 SKILL.md、执行转录(transcript)与比较结果,输出结构化分析。
Analyzer 的输入包括:winner、winner_skill_path、winner_transcript_path、loser_skill_path、loser_transcript_path、comparison_result_path(即本文讨论的 comparison.json)与 output_path。其输出 analysis.json 包含:
- comparison_summary:赢家、双方技能路径、Comparator 裁决理由摘要;
- winner_strengths / loser_weaknesses:赢在哪、输在哪(要求引用技能原文与转录证据);
- instruction_following:双方对技能指令的遵循度评分(1–10)与具体问题;
- improvement_suggestions:按优先级(high / medium / low)与类别(
instructions、tools、examples、error_handling、structure、references)组织的改进建议; - transcript_insights:双方执行模式对比。
完整的 analysis.json 示例 同样收录于 skill-creator 的 JSON Schema 文档中,其目录结构约定为 <grading-dir>/analysis.json,而 comparison.json 位于 <grading-dir>/comparison-N.json——可见盲比较在后端是与 Grading 输出并列存放的独立产物。
在 skill-creator 迭代闭环中的位置
将盲比较放回 skill-creator 的完整流程中,它的使用场景非常明确:
决定技能目标 → 撰写 SKILL.md 草稿 → 编写测试提示词
→ 并行运行 with-skill 与 baseline 子代理(同一回合同时发起)
→ 运行期间起草断言(evals/evals.json + eval_metadata.json)
→ 捕获 timing 数据(total_tokens / duration_ms,仅通知一次性可得)
→ Grader 逐条判分(grading.json)
→ aggregate_benchmark 聚合(benchmark.json / benchmark.md)
→ Analyzer 分析基准结果
→ eval-viewer/generate_review.py 人工审阅
→ 根据反馈与基准改进技能 → 下一轮迭代
盲比较插在“需要严格版本对比”的节点:当用户质疑“新版本真的更好吗”时,将新旧版本(或带技能 / 不带技能)的两份输出交给 Blind Comparator,得到无偏裁决后再交给 Post-hoc Analyzer 提炼改进点。值得注意的是,run_loop.py 中同样出现了 blinded_history 相关的盲化处理逻辑,说明“去除身份信息后再交给模型评估”这一思路在技能描述优化循环中也被复用——盲化本身已成为整个 skill-creator 评估体系对抗偏差的通用手段。
需要强调的是,SKILL.md 明确提示:“这是可选流程,需要子代理,多数用户用不到——人工审阅闭环通常已经足够。”盲比较的价值在于严谨性而非便利性,应在版本之争需要硬证据时启用。
实战演练:用仓库真实 eval 走一遍盲比较
仓库中的 seo-audit 技能评估集 提供了一个直观的演练素材(注意该文件是 .agents/skills/seo-audit/evals/evals.json)。假设我们要盲比较“旧版 seo-audit 技能”与“新版 seo-audit 技能”对同一 prompt 的输出:
场景:取 eval 1 的 prompt —— "Can you do an SEO audit of our SaaS website? We're getting about 2,000 organic visits/month but feel like we should be getting more. URL: https://example.com",让两个技能版本分别执行,产出两份审计报告。
盲比较执行:
- 读输出:分别读取 A、B 两份报告的目录(含正文与任何生成文件);
- 理解任务:任务是产出一份完整的 SEO 审计报告,评判维度包括是否检查 robots.txt / XML sitemap、是否评估 title tag / meta description / 标题结构、是否遵循“Crawlability → Technical → On-Page → Content → Authority”的优先级顺序、输出是否包含 Executive Summary 与 Prioritized Action Plan 等;
- 生成评分矩阵:将内容维度适配为“审计要素覆盖度”“问题诊断准确性”“建议可操作性”,结构维度适配为“报告章节组织”“标题层级”“优先级排布”;
- 打分:例如输出 A 完整覆盖了上述要素并输出结构化报告,内容 5/4/4、结构 5/4/4;输出 B 遗漏了 robots.txt 检查、章节混乱,内容 3/2/3、结构 2/3/3;
- 检查断言:从 evals.json 提取对应断言(如“Checks robots.txt and XML sitemap”“Output has Executive Summary”),统计双方通过率作为次级证据;
- 判定:按优先级,A 的总体得分领先且断言通过率更高 → 赢家 A;
- 输出:写入 comparison.json,交给 Analyzer 分析 A 胜出的指令设计原因,并对输家提出具体改进建议(如“补充 robots.txt 检查的显式指令”“增加报告章节模板”)。
整个流程中,Comparator 从未接触“A 来自旧版、B 来自新版”这一信息——这正是裁决可信度的来源。
小结
Blind Comparator Agent 是 Comp AI CRM 技能评估体系中对抗“评估者偏见”的关键设计:agent 规范 定义了从输入参数、七步流程、双维度评分矩阵到 JSON 输出契约的完整闭环,Schema 文档 固化了下游消费方依赖的数据结构,Analyzer 完成从“裁决”到“改进”的最后一公里,而 SKILL.md 则明确了它在迭代闭环中的可选定位。理解并复用这套模式,你就能在自己的技能(或任何 Agent 产出)对比中,获得经得起推敲的无偏结论。