Spark Expectations 使用指南

1. 目录结构及介绍

spark-expectations 是一个专为数据质量控制设计的Python库，在Spark作业运行过程中执行数据验证规则。以下是此开源项目的典型目录结构及其简要说明：

.
├── README.md               # 项目介绍和快速入门指南
├── contrib                  # 贡献者相关文档或脚本
├── docs                     # 文档资料，包括API文档和用户指南
├── spark_expectations      # 核心源码包，包含主要功能实现
│   ├── config               # 配置相关代码，定义了全局配置变量和设置
│   ├── core                 # 核心逻辑，比如SparkExpectations类的实现
│   ├── expectations         # 数据预期规则的具体实现
│   └── ...
├── tests                    # 单元测试和集成测试文件
├── gitignore                # Git忽略文件配置
├── pre-commit-config.yaml   # Pre-commit配置，用于代码风格检查
├── CODEOWNERS              # 指定哪些人负责特定文件或目录的审查
├── CONTRIBUTING.md          # 对于贡献者的指导文档
├── CONTRIBUTORS.md          # 项目贡献者列表
├── LICENSE                  # 许可证文件，Apache-2.0 License
├── MANIFEST.in              # 打包时包含的额外文件声明
├── Makefile                 # 构建自动化脚本
├── poetry.lock              # 使用Poetry管理的依赖锁定文件
├── prospector.yaml          # 代码质量分析工具Prospector的配置
├── pyproject.toml           # 项目元数据和依赖声明（Poetry）
└── setup.py                 # 若有，则通常用于安装该库的传统方式（但未在给出的引用中显示）

2. 项目启动文件介绍

尽管直接的“启动文件”不是传统意义上的单一入口点，但在实际应用中，开发者应从创建SparkSession并初始化SparkExpectations对象开始。以下是一个简单的示例流程，展示如何“启动”使用此框架的过程：

1. 创建SparkSession:

   from pyspark.sql import SparkSession
   spark = SparkSession.builder.getOrCreate()
   

2. 实例化SparkExpectations: 在这个阶段，您会提供规则表、统计表等相关配置。

   from spark_expectations.core.expectations import SparkExpectations
   se = SparkExpectations(
       product_id="example_product",
       rules_df=spark.table("dq_example_rules"),
       stats_table="dq_example_stats",
       stats_table_writer=...,
       target_and_error_table_writer=...,
       debugger=False,
       user_conf=...  # 用户自定义配置
   )
   

3. 数据处理与验证: 应用装饰器@se.with_expectations到处理数据的函数上，该函数返回要验证的数据集。

3. 项目的配置文件介绍

spark-expectations的配置通过代码直接设置，没有独立的配置文件。配置项通常是通过导入库中的配置模块，并在初始化SparkExpectations时或设置相应的环境变量来完成。例如，邮件通知和Slack通知的开启与配置是这样进行的:

from spark_expectations.config.user_config import Constants as user_config
se_user_conf = [
    user_config.se_notifications_enable_email: False,
    user_config.se_notifications_email_smtp_host: "mailhost.nike.com",
    # 更多配置项...
]

开发者可以按需设定这些配置变量以定制其行为，如启用/禁用邮件通知、SMTP服务器设置、通知阈值等。对于更复杂的部署或者需要共享配置的情况，建议将配置项管理在统一的位置或环境变量中，以方便管理和更新。