SDV项目中PAR合成器处理浮点型分类变量的诊断报告问题分析

问题背景

在SDV(Synthetic Data Vault)项目中，PARSynthesizer是一种用于生成序列数据的强大合成器。然而，当处理包含浮点型数值的分类变量时，PAR合成器会出现一个关键问题：它无法在采样过程中保持原始分类类别，导致数据有效性诊断分数显著降低。

问题现象

当数据集中的分类列使用浮点数值(如100.0和50.0)表示时，PAR合成器生成的合成数据会偏离这些原始类别值。这种偏离直接影响了SDV的诊断报告中的"数据有效性"指标，特别是CategoryAdherence(类别一致性)评估指标会失败。

技术原理分析

PAR合成器在处理分类变量时，内部机制可能没有充分考虑浮点数值的特殊性。与整数或字符串类型的分类变量不同，浮点数在数值表示和比较上存在精度问题，这可能导致：

1. 类别识别不准确：浮点数的微小差异可能导致合成器无法正确识别原始类别
2. 采样过程偏差：在生成新数据时，浮点数的舍入或近似处理可能产生不在原始类别集合中的值
3. 评估指标失效：CategoryAdherence指标严格检查生成值是否完全匹配原始类别，任何微小偏差都会导致评估失败

解决方案与最佳实践

针对这一问题，我们推荐以下解决方案：

临时解决方案：数据类型转换

# 识别并转换分类列数据类型
CAT_COLUMN_NAMES = ['category_column1', 'category_column2']

# 将浮点型分类列转换为对象类型
for col_name in CAT_COLUMN_NAMES:
    data[col_name] = data[col_name].astype('object')

# 正常使用PAR合成器
synthesizer = PARSynthesizer(metadata)
synthesizer.fit(data)
synthetic_data = synthesizer.sample(num_sequences=10)

# 可选：将分类列转换回原始数值类型
for col_name in CAT_COLUMN_NAMES:
    try:
        synthetic_data[col_name] = synthetic_data[col_name].astype('float')
    except ValueError:
        print(f'警告: 列 {col_name} 无法转换回浮点型')

长期建议

1. 数据预处理：在使用PAR合成器前，确保所有分类变量都使用适当的数据类型
2. 元数据定义：在SingleTableMetadata中明确定义分类列的类型和可能取值
3. 版本兼容性检查：关注SDV版本更新，未来版本可能会修复此问题

影响范围评估

这一问题主要影响以下场景：

• 使用浮点数值表示分类变量的数据集
• 依赖CategoryAdherence指标进行合成数据质量评估的项目
• 需要严格保持原始类别值的应用场景

对于大多数使用整数或字符串分类变量的情况，PAR合成器表现正常。

结论

SDV中的PAR合成器在处理浮点型分类变量时存在局限性，通过合理的数据类型转换可以暂时解决这一问题。数据科学家在使用合成数据技术时，应当充分理解数据类型对算法行为的影响，并在预处理阶段做好相应处理。随着SDV项目的持续发展，这一问题有望在后续版本中得到根本解决。