dlt项目1.6.1版本发布：Python支持升级与Databricks优化

dlt（data load tool）是一个开源的Python库，旨在简化数据加载过程。它提供了声明式的方式来定义数据管道，支持多种数据源和目的地，使数据工程师能够更高效地构建和维护ETL流程。

Python版本支持变更

本次1.6.1版本在Python支持方面做出了重要调整：

• 正式放弃对Python 3.8的支持
• 新增对Python 3.13的支持

特别值得注意的是，Python 3.13版本的包现在依赖于dlt-pendulum（一个日期时间处理库）。这是pendulum库的一个分支版本，我们将持续维护这个分支，直到我们的修改能够合并回原始项目。这个分支版本带来了一些改进，包括移除了测试依赖项，现在可以在Alpine Linux等环境中正常工作。

对于其他Python版本，仍然使用原始的pendulum库。

Databricks目的地重大改进

本次更新对Databricks目的地进行了显著优化：

1. 默认使用内部暂存区（Volumes）：不再需要声明staging filesystem管道
2. 自动管理暂存卷：会使用预定义的暂存卷或自动创建
3. 智能凭证获取：在Databricks notebook中运行时可以自动获取凭证
4. 环境变量支持：可以从环境中获取任何凭证和仓库设置

这些改进意味着现在可以在Databricks notebook中直接运行dlt管道，而无需任何额外配置，大大简化了在Databricks环境中的使用流程。

SQLAlchemy目的地增强

我们对SQLAlchemy目的地进行了多项配置优化：

• 新增了对多种数据库的支持，包括Oracle、DB2、SAP HANA、Exasol、Trino等
• 需要社区帮助测试这些新支持的数据库类型

其他重要改进

1. 数据类型处理优化：

   • 新增对ARRAY数据类型的识别和转换支持
   • 修复了SQLAlchemy后端对最小嵌套类型的处理问题

2. dbt兼容性改进：

   • 修复了与dbt 1.8.6的兼容性问题
   • 改进了对arrow字典类型的处理

3. 日期时间处理增强：

   • 修复了非UTC时区日期时间游标字段的滞后支持问题
   • 统一了arrow和对象增量中对原生日期时间的处理方式

4. 错误处理和用户体验：

   • 为Windows认证添加了缺失凭证的错误提示
   • 改进了CLI帮助输出和生成的CLI参考文档
   • 为不支持的arrow类型添加了异常处理

5. 代码质量和类型安全：

   • 强制使用typingextensions中的TypedDict
   • 实现了类型化的实体注册表

6. Azure凭证支持：

   • 新增了对Azure默认凭证的支持

7. 索引优化：

   • SQLAlchemy现在默认关闭索引

向后兼容性说明

由于移除了Python 3.8的支持，使用该版本的用户需要升级到Python 3.9或更高版本。对于仍在使用Python 3.8的项目，建议继续使用1.5.x版本或考虑升级Python环境。

总结

dlt 1.6.1版本带来了多项重要改进，特别是在Python版本支持、Databricks集成和SQLAlchemy目的地方面。这些变化不仅提升了工具的兼容性和功能性，也显著改善了用户体验。对于数据工程师来说，新版本简化了在Databricks环境中的部署流程，同时扩展了对多种数据库的支持，使得数据管道的构建更加灵活和高效。