Druid解析Hive创建表STORED BY语法问题解析

背景介绍

在使用Apache Druid解析Hive SQL时，开发人员遇到了一个特定的语法解析问题。当Hive创建表语句中使用STORED BY子句时，Druid无法正确识别这种语法结构，导致解析失败。这个问题虽然之前被报告过并被标记为已解决，但在最新版本中仍然存在。

问题分析

Hive的CREATE TABLE语句支持两种存储格式声明方式：

1. STORED AS file_format - 这是较为常见的格式声明方式
2. STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] - 这是一种更灵活的存储处理器指定方式

Druid当前版本只完整支持第一种STORED AS语法，对第二种STORED BY语法的支持尚不完善。这导致当SQL中包含类似以下结构的语句时，解析会失败：

CREATE TABLE IF NOT EXISTS `test.tests`(
  `id` bigint COMMENT 'from deserializer', 
  `job_group` bigint COMMENT 'from deserializer', 
  `job_id` bigint COMMENT 'from deserializer', 
  `ums_ts_` bigint COMMENT 'from deserializer') comment 'test'
ROW FORMAT SERDE 
  'org.apache.paimon.hive.PaimonSerDe' 
STORED BY 
  'org.apache.paimon.hive.PaimonStorageHandler'

技术实现差异

STORED BY语法与STORED AS的主要区别在于：

• STORED AS直接指定文件格式(如ORC、Parquet等)
• STORED BY则通过指定一个存储处理器的类名来提供更灵活的存储方式

这种语法通常用于集成Hive与外部存储系统，如Paimon、HBase等。存储处理器负责处理数据的读写操作，而SerDe(序列化/反序列化)则负责数据格式的转换。

解决方案

Druid开发团队已经确认这个问题，并计划在1.2.24版本中增加对STORED BY语法的完整支持。这将使Druid能够正确解析使用自定义存储处理器的Hive建表语句。

对于当前版本的用户，如果必须使用STORED BY语法，可以考虑以下临时解决方案：

1. 使用SQL重写技术，将STORED BY转换为Druid支持的语法
2. 在应用层对这类SQL进行特殊处理
3. 等待1.2.24版本发布后升级

总结

Druid作为一款强大的SQL解析器，对Hive语法的支持正在不断完善。STORED BY语法解析问题的解决将进一步提升Druid在数据仓库和大数据环境中的适用性。开发团队已经将这个问题纳入开发计划，预计在不久的将来发布的版本中提供完整的支持。