SDV项目中序列索引质量优化方案解析

背景介绍

在SDV(Synthetic Data Vault)这一开源数据合成工具中，处理多序列数据时需要使用序列索引(sequence_index)来标记序列顺序和间隔。序列索引通常采用日期时间格式，也可能使用数值类型存储绝对时间值。然而，当前实现中存在几个关键问题影响了生成数据的质量。

现有问题分析

当前PAR合成器在处理序列索引时存在三个主要缺陷：

1. 唯一性违反：序列索引本应具有唯一性以确保序列顺序明确，但用户反馈中出现了重复值的情况。

2. 单调性异常：大多数序列数据应按时间顺序呈现，但生成的索引值有时会出现递减现象。

3. 范围局限性：对于长序列数据，索引值应能持续延伸到未来时间，但当前实现生成的索引值范围受限。

技术根源探究

经过深入分析，发现问题根源在于序列索引的处理逻辑：

在模型拟合阶段，系统虽然正确计算了行间差异，但将起始序列索引作为静态值存储在序列中。这种设计导致PAR模型无法有效学习每个序列特有的起始值。

在采样生成阶段，系统虽然正确累加行间差异，但由于上述问题，使用了不正确的起始值，导致最终生成的序列索引不符合预期。

优化方案设计

模型拟合阶段改进

1. 保留行间差异计算的核心逻辑
2. 不再将静态起始值加入序列供PAR模型处理
3. 将每个序列的起始值移至上下文模型(context model)中处理
   • 这样每个序列只需建模一个起始值
   • 提高了模型对序列特性的学习能力

采样生成阶段改进

1. 上下文模型为每个序列生成唯一的起始值
2. 使用该起始值作为基础，累加计算得到的行间差异
3. 确保生成的序列索引保持正确的时间顺序和范围

技术细节考量

1. 差异列处理：考虑对差异列应用FloatFormatter并进行最小/最大值裁剪，防止生成过大或过小的差异值。

2. 可选性支持：序列索引是可选概念，优化方案需确保PAR在无序列索引情况下仍能正常工作。

3. 数据类型兼容：方案需同时支持日期时间和数值两种序列索引类型。

实现意义

这一优化将显著提升SDV在以下方面的表现：

1. 生成数据的时序准确性
2. 长序列场景下的稳定性
3. 复杂序列模式的学习能力
4. 用户对生成数据质量的信任度

通过将起始值移至上下文模型，系统能够更准确地捕捉和重现原始数据中的时序特征，为时序数据合成提供更可靠的基础。