dbt-duckdb 1.9.2版本发布：增强外部存储支持与测试稳定性

dbt-duckdb是一个将dbt（数据构建工具）与DuckDB数据库引擎集成的开源项目。它允许数据分析师和工程师使用dbt的强大功能来转换和建模数据，同时利用DuckDB的高性能OLAP处理能力。这个项目特别适合需要在本地或嵌入式环境中进行数据分析的场景。

主要更新内容

默认保持连接开启

在这个版本中，keep_open: true成为了默认设置。这意味着dbt-duckdb现在会保持与DuckDB数据库的连接处于开启状态，而不是在每个操作后关闭连接。这一改变显著提高了性能，特别是在需要频繁执行多个操作的工作流中。对于需要关闭连接的特殊情况，用户仍然可以通过配置显式设置keep_open: false。

外部存储增强

1. 空表处理修复：修复了当外部存储（如S3）中的表为空时无法正常工作的问题。现在，无论表中是否有数据，外部存储功能都能可靠地工作。

2. 多线程输出支持：新增了对per_thread_output参数的支持，允许在外部物化过程中为每个线程指定独立的输出位置。这对于并行处理大量数据特别有用，可以避免输出冲突并提高性能。

测试与稳定性改进

1. 临时目录处理优化：改进了测试中临时目录的处理方式，使用tmpdir_factory替代tmp_path_factory，提高了文件相关测试的稳定性。

2. 每日DuckDB夜间构建测试：现在项目会每天自动运行测试，使用DuckDB的最新夜间构建版本。这有助于及早发现与DuckDB最新版本的兼容性问题。

3. S3测试条件优化：当缺少必要的S3凭证时，相关测试会被自动跳过，而不是失败，这使得在没有配置S3环境的开发机器上也能顺利运行测试套件。

开发环境与依赖更新

1. Python版本支持调整：

   • 移除了对Python 3.8的支持
   • 新增了对Python 3.12的支持
   • 现在支持的Python版本为3.9-3.12

2. 依赖项升级：

   • mypy从1.13.0升级到1.15.0
   • dbt-tests-adapter从1.10.4升级到1.11.0

3. CI/CD流程简化：移除了不必要的包构建和测试构建步骤，使开发流程更加高效。

向后兼容性考虑

虽然这个版本引入了多项改进，但主要变化都保持了向后兼容性。唯一需要注意的变化是Python版本支持的调整，使用Python 3.8的用户需要升级到更高版本才能继续使用dbt-duckdb。

对于依赖外部存储功能的用户，特别是使用S3存储的用户，这个版本修复了空表处理的问题并增加了多线程支持，建议进行升级以获得更稳定的体验。

总结

dbt-duckdb 1.9.2版本在稳定性、性能和功能方面都做出了重要改进。默认保持连接开启的设置将显著提升大多数工作流的执行效率，而外部存储功能的增强则为处理大规模数据提供了更好的支持。这些改进使得dbt-duckdb在嵌入式分析场景中变得更加可靠和高效。