dlt项目1.9.0版本发布：增强嵌套表处理与REST API功能

项目简介

dlt（data load tool）是一个开源的Python库，旨在简化数据加载和转换过程。它提供了一种声明式的方式来定义数据管道，支持多种数据源和目标存储系统。dlt的核心优势在于其自动化的模式推断和演化能力，使开发者能够专注于业务逻辑而非数据工程细节。

核心库功能增强

嵌套表处理能力提升

1.9.0版本在嵌套表处理方面进行了重大改进，主要体现在以下几个方面：

数据类型与数据契约应用：现在可以通过apply_hints方法或资源装饰器为嵌套表设置数据类型和数据契约。这一改进使得开发者能够更精确地控制嵌套表的结构和行为。

嵌套表转换：新增了将嵌套表转换为根表的功能，通过设置主键/合并键和写入处置方式，开发者可以更灵活地组织数据结构。例如，可以将原本嵌套在父表中的子表提升为独立的顶级表，便于后续查询和分析。

REST API功能增强

1.9.0版本对REST API功能进行了多项改进：

参数化表达式支持：现在可以在REST API的json和headers配置中使用参数化表达式，为顶层资源提供更灵活的请求构造能力。

请求级头部定制：新增了在每个请求基础上指定头部的功能，使得API调用更加灵活和精确。

转义大括号处理：改进了字符串插值中对转义大括号的处理，确保特殊字符能够正确解析。

其他核心改进

SQL方言支持：为目标存储系统添加了SQL方言能力配置，使得不同数据库系统的特性差异能够得到更好的处理。

Athena Iceberg支持：通过新的目标能力设置，重新启用了Athena上的force_iceberg功能。

S3存储路径处理：修复了Snowflake S3 Stage中带路径的bucket URL处理问题，并重构了copy命令生成器。

引擎适配器回调：新增了可选的engine_adapter_callback功能，为数据库交互提供了更多扩展点。

文档更新

1.9.0版本伴随着详尽的文档更新：

嵌套表使用指南：新增了关于如何定义嵌套表模式的基础用例文档，以及如何为嵌套表生成自定义链接的主键示例文档。

数据库连接：增加了通过SSH连接数据库的详细文档。

数据安全：新增了关于数据安全和加密的专门文档。

模式调整：更新了调整模式和SQL配置的相关文档。

已验证数据源更新

MongoDB连接器：现在支持投影和mongoarrow模式，提供了更灵活的数据查询和转换能力。

PostgreSQL复制：改进了表模式复制功能，修复了连接泄漏问题，并增加了自动添加新表的示例。

总结

dlt 1.9.0版本在数据处理灵活性和API功能方面做出了显著改进，特别是对嵌套表处理能力的增强，使得复杂数据结构的处理更加得心应手。REST API功能的完善也为各种数据集成场景提供了更多可能性。这些改进进一步巩固了dlt作为现代数据集成工具的地位，为开发者提供了更强大、更灵活的数据处理能力。