【亲测免费】 Deequ：基于Apache Spark的数据质量检测工具

Deequ 是一个构建在 Apache Spark 之上的开源库，主要使用 Scala 编程语言。该项目的目的是通过定义“数据单元测试”，来衡量大规模数据集的数据质量。

项目基础介绍

Deequ 提供了一套用于定义和验证数据质量规则的工具，帮助开发者和数据工程师确保数据符合预期的质量标准。通过将数据质量检查集成到数据管道中，可以及早发现错误，避免错误数据对下游应用或机器学习算法造成影响。

核心功能

Deequ 的核心功能包括：

• 数据完整性检查：确保数据的非空、唯一性和一致性。
• 数据值检查：验证数据值是否在预期范围内，如非负数检查、包含特定值的检查等。
• 数据分布检查：分析数据的分布，如中位数、分位数等，以确保数据分布符合预期。
• 自定义约束：允许用户定义自己的数据质量约束。

Deequ 通过 Spark DataFrame 来处理数据，支持 CSV 文件、数据库表、日志文件和扁平化的 JSON 文件等多种格式。

最近更新的功能

最近，Deequ 项目更新了以下功能：

• 持久化和查询数据度量：通过 MetricsRepository，可以持久化计算得出的数据度量，并支持查询。
• 数据质量度量随时间变化的异常检测：通过分析数据质量度量的历史变化，来检测潜在的数据质量异常。
• 对大规模数据集的数据质量约束自动建议：根据数据集的特征自动建议适用的数据质量约束。
• 对增长数据的增量度量计算和分区数据的度量更新：支持对不断增长的数据集进行增量度量计算，以及在分区数据上更新度量。

这些更新功能进一步增强了 Deequ 的数据质量控制能力，使其成为处理大规模数据集时确保数据质量的强大工具。