数据验证工具data.validator使用教程

1. 项目介绍

data.validator 是一个用于可扩展和可重现数据验证的R包。它提供了一系列功能，可以帮助用户在R的%>%管道中验证数据集，并创建用户友好的报告。这个包包含了以下几个核心功能：

• validate_if、validate_cols 和 validate_rows 函数，用于在管道中验证数据集。
• 来自 assertr 包的断言函数，如 in_set、within_bounds 等。
• 用于生成可以发送电子邮件、存储在日志文件夹中或通过RStudio Connect自动生成的用户友好报告的函数。

2. 项目快速启动

首先，您需要安装data.validator包。可以通过CRAN仓库安装稳定版本，或者从GitHub安装最新开发版本。

# 安装稳定版本
install.packages("data.validator")

# 安装最新开发版本
remotes::install_github("Appsilon/data.validator")

接下来，让我们通过一个简单的例子来快速启动项目：

library(assertr)
library(magrittr)
library(data.validator)

# 创建报告对象
report <- data_validation_report()

# 准备数据集
mtcars <- mtcars

# 运行验证
validate(mtcars, name = "验证车辆数据集") %>%
  validate_if(drat > 0, description = "drat列只有正值") %>%
  validate_cols(in_set(c(0, 2)), vs, am, description = "vs和am值只能是0或2") %>%
  validate_cols(within_n_sds(1), mpg, description = "mpg值在1个标准差内") %>%
  validate_rows(num_row_NAs, within_bounds(0, 2), vs, am, mpg, description = "行中的NA数量不过多") %>%
  validate_rows(maha_dist, within_n_mads(10), everything(), description = "马氏距离在10个MAD内") %>%
  add_results(report)

# 打印报告
print(report)

3. 应用案例和最佳实践

检查关键列的唯一性

数据验证的常见步骤是确保关键列是唯一的且非空。可以使用fixtuRes包来准备验证模式的测试数据集。

library(fixtuRes)
library(magrittr)
library(assertr)
library(data.validator)

# 创建模拟数据生成器
my_mock_generator <- fixtuRes::MockDataGenerator$new("path-to-my-configuration.yml")

# 获取模拟数据
my_data_frame <- my_mock_generator$get_data("my_data_frame", 10)

# 创建报告对象
report <- data_validation_report()

# 运行验证
validate(my_data_frame, name = "验证数据唯一性") %>%
  validate_if(is_uniq(id), description = "ID列是唯一的") %>%
  validate_if(!is.na(id) & id != "", description = "ID列非空") %>%
  validate_if(is.character(code), description = "CODE列是字符串") %>%
  validate_rows(col_concat, is_uniq, code, type, description = "CODE和TYPE组合是唯一的") %>%
  add_results(report)

# 打印报告
print(report)

定制报告

data.validator允许将验证结果保存为HTML报告。可以通过修改预定义的RMarkdown模板来自定义报告。

4. 典型生态项目

data.validator可以与RStudio Connect、Shiny等R生态系统中的其他工具配合使用，为生产环境中的数据验证提供保护。例如，可以设置RStudio Connect Scheduler每天运行，从PostgreSQL表加载数据并根据预定义规则进行验证。根据验证结果，可以创建新的data.validator报告，并通过电子邮件发送给数据提供者和负责数据质量的人员。如果数据违反了规则，则数据提供者可以进行必要的修复；如果数据是正确的，则发送一个特定的触发器以重新加载Shiny数据。