Great Expectations 验证结果中的指标计算原理解析

在使用Great Expectations进行数据验证时，理解验证结果中的各项指标对于正确解读数据质量至关重要。本文将深入解析exception_values_to_be_in_set期望类型返回结果中的关键指标计算逻辑，帮助数据工程师和数据分析师准确理解数据验证结果。

核心指标解析

Great Expectations在验证列值是否属于指定集合时，会返回多个关键指标：

1. element_count：总行数，即被验证列的总记录数
2. unexpected_count：不符合预期的非空值数量
3. missing_count：空值或缺失值的数量
4. unexpected_percent：与unexpected_percent_nonmissing相同
5. unexpected_percent_nonmissing：非空值中不符合预期的百分比
6. unexpected_percent_total：所有行中不符合预期的百分比

指标计算原理

unexpected_percent_nonmissing 计算

这个指标表示在非空值中不符合预期的比例，计算公式为：

unexpected_percent_nonmissing = (unexpected_count / (element_count - missing_count)) × 100

例如在用户案例中：

• unexpected_count = 211,608
• element_count = 921,750
• missing_count = 600,924

计算过程：

非空值总数 = 921,750 - 600,924 = 320,826
unexpected_percent_nonmissing = (211,608 / 320,826) × 100 ≈ 65.96%

这个指标反映了在实际有值的记录中，不符合预期的比例有多高。

unexpected_percent_total 计算

这个指标表示在所有记录中不符合预期的比例，计算公式为：

unexpected_percent_total = (unexpected_count / element_count) × 100

同样以用户案例数据计算：

unexpected_percent_total = (211,608 / 921,750) × 100 ≈ 22.96%

这个指标反映了在整个数据集（包括空值）中，不符合预期的记录所占比例。

常见误解澄清

1. 分母选择错误：在计算unexpected_percent_nonmissing时，容易错误地使用总行数作为分母，实际上应该使用非空行数作为分母。

2. 指标混淆：unexpected_percent和unexpected_percent_nonmissing实际上是相同的指标，而unexpected_percent_total则是不同的计算方式。

3. 空值处理：需要注意unexpected_count仅统计非空值中不符合预期的数量，空值单独计入missing_count。

实际应用建议

1. 结合使用两个百分比指标：同时观察unexpected_percent_nonmissing和unexpected_percent_total可以全面了解数据质量问题。前者反映现有数据的准确率，后者反映整体数据的合规率。

2. 设置合理的阈值：根据业务需求，可以针对这两个指标分别设置不同的告警阈值。例如，对数据完整性要求高的场景可能更关注unexpected_percent_total。

3. 结果可视化：将这两个指标随时间的变化趋势可视化，可以帮助发现数据质量的变化模式。

理解这些指标的计算原理和实际含义，将帮助数据团队更准确地评估数据质量，并做出合理的决策。