Soda Core 中引用完整性检查失败行样本的查看问题解析

问题背景

在使用 Soda Core 3.1.5 版本进行数据质量检查时，用户发现当执行引用完整性检查（如外键约束验证）时，控制台输出未能显示预期的失败行样本信息。具体表现为：当验证 stg_salesforce__opportunity 表中的 account_id 是否存在于 stg_salesforce__account 表中时，控制台仅显示失败计数，而非具体的无效值。

预期与实际行为对比

预期行为： 根据文档描述，用户期望在检查失败时能看到类似以下输出，显示具体的无效值：

values in (account_id) must exist in stg_salesforce__account (account_id) [FAILED]
  values: "ID_OF_MY_MISSING_ACCOUNT"

实际行为： 控制台实际输出仅显示失败计数：

values in (account_id) must exist in stg_salesforce__account (account_id) [FAILED]
  value: 1

技术解析

1. 设计原理： Soda Core 的设计中，失败行样本的处理与展示分为两个渠道：

   • 控制台输出：默认仅显示检查结果的摘要信息（通过/失败状态及计数）
   • Soda Cloud：详细的失败行样本会被发送到云端进行可视化展示

2. 配置选项： 对于不使用 Soda Cloud 的用户，可以通过配置"失败行采样器"将失败行样本发送到其他目的地。这需要：

   • 实现自定义的采样器类
   • 在检查配置中指定采样器参数

3. 采样机制： 引用完整性检查执行时，系统确实会捕获导致检查失败的记录，但这些信息默认不会在命令行界面显示完整内容。采样机制主要服务于：

   • 问题诊断
   • 数据质量趋势分析
   • 异常值识别

解决方案建议

1. Soda Cloud 用户： 登录 Soda Cloud 平台查看完整的失败行样本信息，这是最直接的解决方案。

2. 非 Soda Cloud 用户： 可以通过以下方式获取失败行详情：

# 示例自定义采样器配置
checks:
  - name: Referential integrity check
    type: reference
    samples:
      limit: 10
      columns: [account_id]
    sampler:
      type: my_custom_sampler

3. 配置调整： 在检查定义中明确指定采样参数：

checks for stg_salesforce__opportunity:
  - missing_count(opportunity_id) = 0
  - values in (account_id) must exist in stg_salesforce__account (account_id):
      samples:
        limit: 5
        columns: [account_id]

最佳实践

1. 对于关键业务数据的引用完整性检查，建议结合使用 Soda Cloud 以获得完整的可视化分析能力
2. 在开发调试阶段，可以临时配置自定义采样器将失败行输出到日志文件
3. 对于大批量数据验证，注意合理设置采样限制以避免性能问题
4. 考虑将失败行样本存储到数据湖或数据仓库中，便于后续分析处理

总结

Soda Core 的引用完整性检查功能在验证外键约束时，默认行为是在命令行界面仅显示失败计数而非具体值。要获取详细的失败行样本，用户需要配置适当的采样器或使用 Soda Cloud 服务。这一设计权衡了性能与调试需求的平衡，用户可根据实际场景选择最适合的解决方案。