Druid项目中Hive建表语句CLUSTERED BY语法解析问题分析

问题背景

在数据库中间件Druid的SQL解析功能中，对于Hive建表语句的CLUSTERED BY语法支持存在一个解析输出问题。具体表现为当解析包含分桶(CLUSTERED BY...INTO...BUCKETS)语法的Hive建表语句时，Druid输出的SQL语句格式不符合Hive官方语法规范。

问题现象

当输入如下Hive建表语句时：

CREATE TABLE `db.route`(
  `od_id` string COMMENT 'OD',  
  `data_dt` string COMMENT 'data date')
CLUSTERED BY ( 
  od_id) 
INTO 8 BUCKETS
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

Druid解析后输出的SQL语句格式为：

CREATE TABLE `db.route`(
  `od_id` string COMMENT 'OD',  
  `data_dt` string COMMENT 'data date')
CLUSTERED BY ( 
  od_id) 
ROW FORMAT SERDE 
INTO 8 BUCKETS
...

可以看到，Druid将"INTO 8 BUCKETS"部分错误地放在了"ROW FORMAT SERDE"之后，这不符合Hive的官方语法规范。

Hive官方语法规范

根据Hive官方文档，CLUSTERED BY子句的完整语法应该是：

CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS

关键点在于：

1. CLUSTERED BY子句和INTO BUCKETS子句是一个整体
2. 这两个部分应该连续出现，中间不应该插入其他语法元素

问题根源分析

通过查看Druid源代码，问题出在SQLASTOutputVisitor类的printCreateTable方法中。该方法在处理Hive建表语句时，将CLUSTERED BY和BUCKETS两个部分分开处理：

1. 先处理CLUSTERED BY部分
2. 然后处理其他表属性
3. 最后才处理BUCKETS部分

这种处理方式导致了语法输出的顺序错误。

技术实现细节

在Druid的AST(抽象语法树)设计中：

• HiveCreateTableStatement类负责表示Hive建表语句
• clusteredBy字段存储CLUSTERED BY的列信息
• buckets字段存储分桶数量
• SQLASTOutputVisitor负责将AST转换为SQL文本

问题代码的关键部分如下：

// 先输出CLUSTERED BY部分
List<SQLSelectOrderByItem> clusteredBy = x.getClusteredBy();
if (clusteredBy.size() > 0) {
    println();
    print0(ucase ? "CLUSTERED BY (" : "clustered by (");
    printAndAccept(clusteredBy, ",");
    print(')');
}

// 然后输出其他表属性...

// 最后才输出BUCKETS部分
int buckets = x.getBuckets();
if (buckets > 0) {
    println();
    print0(ucase ? "INTO " : "into ");
    print(buckets);
    print0(ucase ? "BUCKETS" : "buckets");
}

解决方案

正确的实现应该将CLUSTERED BY和INTO BUCKETS作为一个整体处理：

1. 当存在CLUSTERED BY时，先输出"CLUSTERED BY (列名)"
2. 如果同时存在分桶数量，紧接着输出"INTO n BUCKETS"
3. 然后再处理其他表属性

这种处理方式才能保证输出的SQL符合Hive的语法规范。

影响范围

该问题影响所有使用Druid解析Hive建表语句的场景，特别是：

1. SQL格式化工具
2. SQL语法高亮显示
3. SQL重写工具
4. 依赖Druid进行SQL解析的其他应用

总结

Druid作为一款广泛使用的数据库中间件，其SQL解析功能的准确性至关重要。对于Hive这类大数据生态中重要的SQL方言，需要严格遵循其语法规范。这个问题的修复将提高Druid在Hive环境下的兼容性和可靠性，为大数据开发人员提供更准确的SQL解析服务。