dlt项目中使用复合主键从MSSQL加载数据的注意事项

在数据工程领域，dlt（data load tool）作为一个强大的数据加载工具，近期从0.4.9版本升级到1.0.0版本后，在处理MSSQL数据源的复合主键时出现了一些行为变化，这值得数据工程师们特别注意。

问题现象

当使用dlt 1.0.0版本从MSSQL加载数据到Snowflake时，如果指定了复合合并键（compound merge key），系统会报错提示找不到预期的合并键列。具体错误信息表明，系统期望找到一个名为"_first_id_second_idx"的列，但实际上这个列并不存在于源数据中。

根本原因分析

经过深入分析，发现问题的根源在于复合主键的指定方式。在1.0.0版本中，dlt对复合主键的格式要求更加严格：

1. 错误的格式：将复合主键作为字符串传递，如'("FirstID", "SecondID")'，这会导致dlt将其视为单个列名而非复合键
2. 正确的格式：应该使用元组或列表来指定复合主键，如("FirstID", "SecondID")或["FirstID", "SecondID"]

在0.4.9版本中，虽然字符串形式的复合主键能够工作，但这实际上是未定义的行为，在1.0.0版本中得到了修正。

解决方案

对于从旧版本迁移的用户，建议采取以下措施：

1. 修改代码：将所有字符串形式的复合主键规范化为元组或列表形式
2. 配置更新：如果复合主键配置存储在JSON等配置文件中，应将存储格式从字符串改为数组形式

最佳实践

为了确保代码的健壮性和可维护性，建议：

1. 始终使用Python原生数据结构（元组或列表）来指定复合键
2. 在配置文件中存储复合键时，使用JSON数组格式而非字符串
3. 在升级dlt版本时，特别注意检查所有复合键的指定方式

版本兼容性说明

虽然0.4.9版本能够接受字符串形式的复合主键，但这实际上是该版本的实现缺陷。1.0.0版本对此进行了修正，要求使用更规范的格式。这种变化体现了dlt项目对API一致性和健壮性的持续改进。

总结

dlt 1.0.0版本对复合主键处理方式的改变，虽然带来了短暂的迁移成本，但从长远来看提高了工具的可靠性和一致性。数据工程师应当及时调整代码，采用推荐的复合主键指定方式，以确保数据管道的稳定运行。