SDV项目中PARSynthesizer模型数据类型检测问题的分析与解决

在SDV（Synthetic Data Vault）项目的实际应用中，用户反馈了一个关于PARSynthesizer模型数据有效性下降的问题。本文将从技术角度深入分析该问题的成因，并提供完整的解决方案。

问题现象

当用户在健康数据集上运行PARSynthesizer模型时，发现包含Days_Supplied特征后，数据有效性指标从100%下降。通过分析用户提供的示例数据，可以观察到模型未能严格遵守原始数据列的最小值和最大值约束。

根本原因分析

经过技术团队深入调查，发现该问题源于以下两个关键因素：

1. 数据类型检测不准确：SDV的自动元数据检测功能将本应为数值型的Days_Supplied列错误识别为分类类型（categorical），而实际上该列应被标记为数值型（numerical）。

2. 数据类型与模型行为的交互：PARSynthesizer模型在处理被错误标记为分类类型的数值列时，会产生不符合预期的合成结果，特别是在值域边界处理上出现问题。

解决方案

针对这一问题，我们推荐以下解决步骤：

1. 手动验证数据类型：

   • 检查原始数据列的语义含义
   • 确认pandas DataFrame中的实际数据类型（int或float）
   • 参考SDV元数据规范确定正确的sdtype

2. 显式指定数据类型：

   metadata.update_column(
       column_name='Days_Supplied',
       sdtype='numerical'
   )
   

3. 考虑值域约束：

   • 如有必要，可设置enforce_min_max_values参数
   • 确保模型能够正确处理数值边界

最佳实践建议

为避免类似问题，我们建议：

1. 对于数值型数据列，即使包含离散值，也应优先考虑标记为numerical而非categorical

2. 在模型初始化时，根据业务需求明确设置值域约束参数

3. 在生成合成数据后，进行全面的数据质量验证，包括：

   • 值域检查
   • 分布相似性评估
   • 业务规则验证

总结

SDV项目中的PARSynthesizer模型在数据类型处理上存在一定的复杂性。通过正确理解和配置数据类型，用户可以避免数据有效性下降的问题，获得更高质量的合成数据。这一案例也提醒我们，在数据合成过程中，明确的数据语义理解和适当的参数配置至关重要。