Great Expectations 数据验证中获取完整异常行索引的解决方案

背景介绍

Great Expectations 是一个强大的数据质量验证工具，它可以帮助数据工程师和分析师确保数据的准确性和一致性。在实际应用中，我们经常需要获取数据验证过程中所有不符合预期的行记录，以便进行后续处理或修复。然而，许多用户在使用过程中发现，默认情况下 Great Expectations 只会返回最多20条异常记录，这给需要处理全部异常数据的场景带来了挑战。

问题分析

在使用 Great Expectations 进行数据验证时，特别是通过 Pandas DataFrame 作为数据源时，系统默认只返回部分异常结果（通常限制为20条）。这种设计主要是出于性能和数据文档展示的考虑，但对于需要处理所有异常数据的场景来说，这种限制就显得不够用了。

解决方案

使用完整结果格式

Great Expectations 提供了多种结果格式选项，其中"COMPLETE"模式可以返回完整的验证结果。要实现这一点，需要在验证配置中明确指定结果格式参数：

result_format = {
    "result_format": "COMPLETE",
    "include_unexpected_rows": True,
    "unexpected_index_column_names": ["SRC_RECORD_ID"],
    "return_unexpected_index_query": True
}

验证定义的正确使用

通过创建验证定义(ValidationDefinition)来执行验证，可以确保结果格式参数被正确应用：

validation_definition = gx.ValidationDefinition(
    data=batch_definition, 
    suite=suite, 
    name="validation_definition"
)

complete_result_format_dict = {"result_format": "COMPLETE"}
validation_results = validation_definition.run(
    batch_parameters=batch_parameters, 
    result_format=complete_result_format_dict
)

异常索引列的指定

为了获取异常行的完整索引，需要明确指定哪些列作为索引列：

"unexpected_index_column_names": ["SRC_RECORD_ID"]

实际应用建议

1. 环境选择：对于生产环境，建议使用文件模式(file mode)而非临时模式(ephemeral mode)，以便持久化保存期望套件(expectation suite)。

2. 异常处理：在重复运行验证时，应添加适当的异常处理逻辑，避免因重复创建数据源而报错。

3. 期望套件管理：将期望规则保存为独立的JSON文件，便于在不同环境间共享和版本控制。

4. 结果处理：验证结果按期望规则组织，如需按列组织结果，需要自行编写后处理逻辑。

性能考量

虽然获取完整异常结果提供了更全面的数据质量视图，但也需要注意：

1. 大数据集下获取完整结果可能影响性能
2. 内存消耗会随异常记录数量增加而增长
3. 建议在生产环境中根据实际需求平衡完整性和性能

总结

通过合理配置 Great Expectations 的结果格式参数和使用验证定义，开发者可以突破默认的20条异常记录限制，获取完整的验证结果。这为数据质量监控和异常数据处理提供了更大的灵活性。在实际应用中，应根据具体场景选择最适合的配置方式，并注意性能和资源消耗的平衡。