dlt项目中TOML配置提示在MSSQL加载时被忽略的问题解析

问题背景

在使用dlt工具进行Azure SQL数据库之间的数据同步时，开发人员遇到了一个关于列精度配置的问题。具体表现为：通过TOML配置文件指定的decimal类型列精度提示虽然能被正确解析，但在实际数据加载到MSSQL时却被忽略。

技术细节分析

预期行为

根据dlt的设计，用户可以通过TOML配置文件为特定表的列指定数据类型和精度参数。例如：

[tool.dlt.hints.sql_to_sql_erp_solvio.aan_aankoopfactuur.columns_meta]
nu_te_betalen_bedrag = { data_type = "decimal", precision = 9, scale = 4 }

理论上，这段配置应该确保nu_te_betalen_bedrag列在目标数据库中被创建为decimal(9,4)类型。

实际观察到的行为

1. TOML配置能被正确解析：通过dlt.config.get()方法可以获取到配置的精度值9
2. 但在schema推断阶段，精度值被错误地设置为4
3. 最终在MSSQL中创建的列精度也是4，而非配置的9

调试信息

开发人员通过以下方式验证了问题：

schema_dict = pipeline.default_schema.to_dict()
table = "aan_aankoopfactuur"
column = "nu_te_betalen_bedrag"

print("Inferred schema:")
print(json.dumps(schema_dict["tables"][table]["columns"][column], indent=2))

toml_hint = dlt.config.get(f"tool.dlt.hints.sql_to_sql_erp_solvio.{table}")
print("TOML hint:")
print(json.dumps(toml_hint.get("columns_meta", {}).get(column), indent=2))

输出显示：

// 推断的schema
{
  "name": "nu_te_betalen_bedrag",
  "nullable": true,
  "data_type": "decimal",
  "precision": 4,
  "scale": 4
}

// TOML配置
{
  "data_type": "decimal",
  "precision": 9,
  "scale": 4
}

问题根源

经过深入分析，发现问题出在配置的应用时机上。虽然TOML配置被正确解析，但在schema推断阶段，这些配置没有被正确应用到目标表的定义中。这导致：

1. 数据源(源SQL表)的原始精度(4)被保留
2. TOML中指定的精度(9)没有被覆盖到最终的schema定义中
3. 因此，目标表创建时使用了错误的精度值

解决方案

开发人员最终通过使用sql_table方法解决了这个问题。这种方法允许更直接地控制目标表的定义，绕过了schema推断阶段可能存在的配置应用问题。

经验总结

1. 配置验证：在使用dlt的TOML配置时，不仅要验证配置能被正确解析，还要验证它是否被应用到最终的schema定义中
2. 调试技巧：通过比较推断schema和配置值的差异，可以快速定位配置应用问题
3. 替代方案：当自动推断不能满足需求时，考虑使用更直接的表定义方法如sql_table

最佳实践建议

对于需要在数据同步过程中精确控制目标表结构的场景，建议：

1. 始终验证推断schema与预期配置的一致性
2. 对于关键列的数据类型和精度，考虑使用更明确的表定义方法
3. 在复杂场景下，可以分步进行：先确保schema定义正确，再执行数据加载

这个问题展示了在数据管道工具中配置优先级和覆盖机制的重要性，也为dlt用户提供了处理类似问题的参考方案。