SQLFluff 3.4.0版本发布：Python 3.8支持终止与新规则引入

SQLFluff是一款开源的SQL代码格式化工具，它能够帮助开发人员保持SQL代码的一致性和可读性。通过自动检测和修复SQL代码中的格式问题，SQLFluff已经成为数据工程师和分析师工具箱中的重要组成部分。最新发布的3.4.0版本带来了一些重要的变更和功能增强。

主要变更概述

本次发布的3.4.0版本包含两个重要的破坏性变更：

1. Python 3.8支持终止：SQLFluff正式放弃了对Python 3.8的支持，这意味着用户需要升级到Python 3.9或更高版本才能使用最新版本的SQLFluff。

2. 新增LT15规则：引入了全新的layout.newlines规则（LT15），该规则允许用户控制查询内部和外部连续空行的数量，为SQL代码的布局提供了更精细的控制。

新功能详解

LT15规则：空行控制

LT15规则的引入是本次版本的一个重要亮点。它解决了SQL代码中空行管理的问题，具体功能包括：

• 控制查询内部的连续空行数量
• 控制查询外部的连续空行数量
• 提供配置选项，允许用户自定义允许的最大空行数

这个规则特别适合大型SQL项目，可以帮助团队保持一致的代码风格，特别是在多人协作的环境中。

方言支持增强

3.4.0版本对多种SQL方言的支持进行了显著增强：

1. ClickHouse：

   • 改进了表定义中复杂类型和函数的支持
   • 增强了ALTER TABLE语句的处理能力
   • 增加了IN TABLE/CTE和隐式Array、Tuple的支持

2. MySQL/MariaDB：

   • 增加了对ZEROFILL列的支持
   • 支持带引号的字符集标识符
   • 添加了地理空间数据支持
   • 新增EVENT语句支持

3. Oracle：

   • 改进了CREATE USER语句解析
   • 增加了CREATE TABLE和ALTER TABLE中的identity子句支持
   • 修复了PivotSegment以接受FunctionSegment中的别名
   • 全面支持PL/SQL（过程、函数、包、触发器、类型、游标、循环）

4. Redshift：

   • 修复了CREATE TABLE语句
   • 增加了varchar(max)支持
   • 添加了用户定义数据类型的支持
   • 支持GROUP BY ALL语法

5. T-SQL：

   • 增加了OPENROWSET的WITH子句支持
   • 支持+=、-=、*=、/=和%=运算符
   • 添加了Open Symmetric Key支持
   • 增加了OPENQUERY支持

6. Snowflake：

   • 添加了混合表支持
   • 允许在CREATE TASK中使用引用变量
   • 增加了动态表修复
   • 支持CORTEX SEARCH SERVICE
   • 添加了STREAMLIT语句的TITLE参数支持

7. BigQuery：

   • 使SELECT REPLACE中的AS成为必需项
   • 支持UNION ALL BY NAME和其他新的集合操作符修饰符

8. SparkSQL/Databricks：

   • 支持点号运算符
   • 使STRUCT数据类型中的冒号可选

9. Trino：

   • 解析UNNEST(...) WITH ORDINALITY语法

10. Athena：

    • 支持一些基于Trino的v3函数

11. DuckDB：

    • 添加了特定于DuckDB的InsertStatementSegment

规则改进与错误修复

除了新增的LT15规则外，3.4.0版本还对现有规则进行了多项改进：

1. RF02规则：

   • 添加了忽略子查询中外部引用的配置
   • 修复了Snowflake lambda匿名参数不触发的问题

2. ST11规则：

   • 修复了带引号的表名比较问题
   • 修正了文档中的规则名称，确保noqa指令正常工作

3. CP02和LT01规则：

   • 修复了由FixPatch排序冲突导致的重复元素问题

4. AL03规则：

   • 增加了对子查询缺少别名的检查

5. AM08规则：

   • 处理任何大小写的UNNEST

架构与内部改进

3.4.0版本在代码质量和内部架构方面也有显著提升：

1. 类型系统增强：

   • 实现了规则配置的更严格类型检查
   • 简化了Python 3.9+的类型注解
   • 添加了格式化程序存根类型

2. 代码清理：

   • 移除了Python 3.8特定的兼容代码
   • 确保TOML文件始终使用UTF-8编码
   • 清理了Snowflake ALTER TABLE语句中的TODO标记

3. CI/CD改进：

   • 更新了发布说明生成脚本
   • 将镜像部署同步到ghcr.io
   • 修复了路径中包含空格时的tox配置问题

项目生态增强

3.4.0版本还包含了一些对项目生态系统的改进：

1. dbt集成：

   • 增加了通过环境变量设置dbt project_dir的功能

2. Obevo支持：

   • 添加了对Obevo注解的支持

3. 文档改进：

   • 修正了多处文档问题
   • 更新了发布说明

总结

SQLFluff 3.4.0版本是一个功能丰富的中期发布，它不仅引入了重要的新规则LT15来改善SQL代码的布局控制，还放弃了对Python 3.8的支持以简化维护工作。通过对多种SQL方言支持的持续增强，SQLFluff进一步巩固了其作为多功能SQL格式化工具的地位。内部架构的改进也为未来的功能扩展奠定了更坚实的基础。

对于现有用户，升级到3.4.0版本时需要注意Python版本要求的变化，并可以利用新的LT15规则来进一步规范团队的SQL代码风格。新用户则可以从这个功能更加完善的版本开始他们的SQL代码规范化之旅。