agentic-ai实战 | Agentic AI评估(Evals)完全指南：发票+营销文案2个案例手把手教你
agentic-ai实战 | Agentic AI评估(Evals)完全指南：发票+营销文案2个案例手把手教你
agentic-ai 是围绕吴恩达（Andrew Ng）DeepLearning.AI《Agentic AI》课程打造的中文教程仓库。本文带你手把手搞懂 Agentic AI 评估（Evals）：通过"发票处理工作流"和"营销文案助理"两个经典案例，教你从零搭建评估测试集，客观量化智能体（Agent）工作流的质量，并给出快速上手建议 🎯
一、为什么 Agentic AI 评估是成败关键
在 Agentic AI 开发中，能否严格、有纪律地做评估（Evals），是区分团队"做得好"与"做得差"的最大预测因素。具体价值有三点：
| 价值 | 说明 |
|---|---|
| 🔮 预测成败 | 能否有效评估工作流，是项目质量最大的分水岭 |
| 🚀 驱动迭代 | 没有评估，就无法知道哪里出了问题，更无法改进 |
| 🧩 避免黑盒陷阱 | 不能只看最终输出，要深入中间过程定位错误根源 |
课程中有一个很典型的例子：一个处理客户订单查询的智能体，收到邮件"我订购了蓝色搅拌机，但收到了红色烤面包机"，却回复"很高兴您选择我们——我们比竞争对手 CompCo 强多了" 😅 这种低质量输出在构建前几乎无法预见，只有跑起来观察才能发现。
二、评估方法论：构建 → 观察 → 定位 → 建指标
吴恩达老师给出的首要原则是：先构建，再观察，后评估。不要试图提前设计所有评估标准，正确流程是：
- 先搭一个初步版本的工作流；
- 手动检查 10~20 个输出，找低质量输出；
- 对高频错误定义错误类型（如"提及竞争对手"）；
- 编写评估指标追踪它（客观指标用代码统计，主观指标用 LLM 当裁判）。
当评估标准难以用代码精确判断时（比如"报告写得够不够好"），可以用 LLM as a judge（LLM 当裁判）：让另一个 LLM 按评分提示词给输出打 1~5 分，并附解释。
三、案例一：发票处理工作流，代码自动检查日期提取
这是一个从发票 PDF 中提取 4 个必填字段（开票方、地址、金额、到期日）并写入数据库的工作流：PDF → 转文本 → LLM 提取 → 更新数据库。
通过手动测试 10~20 张发票，发现一个高频错误：系统经常混淆"开具日期（Invoice Date）"和"到期日（Due Date）"。针对这个错误，评估这样搭建：
- 测试集：人工记录 10~20 张发票的正确到期日，作为"基本事实（Ground Truth）"；
- 统一格式：在提示词中要求 LLM 始终按
YYYY/MM/DD输出到期日，便于代码检查； - 评估代码：用正则表达式提取日期，与基本事实比对，统计
num_correct； - 衡量改进：调整提示词或组件后，用这个指标的变化验证准确率是否提升。
完整案例笔记见：4.1 评估（evals）].md)
四、案例二：营销文案助理，统计词数判断是否超限
这个系统为 Instagram 图片生成营销标题，硬性要求：标题最多 10 个词。观察输出发现：文案质量不错，但经常超标（17 词、14 词、11 词……）。
评估搭建同样简单：
- 测试集：准备 10~20 个测试任务（太阳镜、咖啡机等产品图 + 对应提示词）；
- 评估代码：编写代码统计输出词数；
- 判断标准：词数 ≤ 10 即为通过；
- 与案例一的区别：所有例子共用同一个目标（10 词），不需要每个例子的基本事实。
💡 两个案例的共同套路：构建系统 → 查看输出 → 发现错误 → 针对重要错误建立小型评估 → 调整系统以提高指标。
五、评估类型一张表看懂：2×2 矩阵
评估方式可以从两个维度划分：有无基本事实 × 客观（代码检查）/主观（LLM 裁判）：
| 评估维度 | 客观评估（代码检查） | 主观评估（LLM 裁判） |
|---|---|---|
| 有每例基本事实 | 案例一：发票日期提取 | 研究智能体：统计是否覆盖黄金标准观点 |
| 无每例基本事实 | 案例二：营销文案词数 ≤10 | 按统一评分标准（Rubric）评估图表清晰度 |
按评估粒度又分两类：
- 端到端评估（End-to-end）：衡量整个工作流最终输出的整体质量；
- 组件级评估（Component-level）：只测单个步骤（如搜索组件的召回率），信号更清晰、迭代更快，还便于团队分工维护各自指标。
组件级评估的完整实践（含 F1 分数衡量搜索质量）见：4.4 组件级评估
六、动手练习与快速上手建议
🧪 配套实验：仓库提供了组件级评估的无评分实验 Notebook，可配合 research_tools.py 实操运行：
- 实验 Notebook：M4_UGL_1.ipynb
新手快速上手清单：
- 从粗糙的小评估开始：先别搞大型评估项目，10~20 个例子就能获得可用的指标，辅助人工观察；
- 迭代改进评估：系统成熟后再扩充评估集；若系统改了但分数没涨，说明该改评估本身了；
- 向人类专家看齐：观察系统在哪些方面不如专业人士，把它作为下一阶段的改进重点；
- 尽早纳入错误分析：系统复杂化后靠直觉找问题会越来越不可靠，错误分析 帮你量化每个组件的出错频率。
七、延伸阅读：仓库内相关文件导航
| 文件 | 内容 |
|---|---|
| 1.7 Agentic AI评估（evals）].md) | 评估核心方法论与两大评估类型（本章源头） |
| 4.1 评估（evals）].md) | 发票、营销文案、研究智能体三个完整案例 |
| 4.2 错误分析与制定下一步优先级 | 通过 Trace 检查定位表现最差的组件 |
| 4.4 组件级评估 | 组件级评估 vs 端到端评估的效率对比 |
| README.md | 课程全 5 个模块的中文翻译与知识整理总览 |
掌握了发票与营销文案这两个"代码可判"的基础案例后，再进阶到 LLM 裁判与组件级评估，你就拥有了评估任意 Agentic AI 工作流的完整工具箱 ✅