SQLGlot项目中的Spark到Trino的TO_JSON函数转换问题解析

问题背景

在SQLGlot这个SQL转换工具中，当需要将Spark SQL中的TO_JSON函数转换为Trino方言时，出现了语法转换不完整的问题。TO_JSON函数在Spark中用于将结构化数据转换为JSON字符串，但在Trino中需要使用不同的语法实现相同功能。

问题现象

原始Spark SQL查询：

SELECT TO_JSON(STRUCT('blah' as x)) as y

当前SQLGlot转换后的Trino SQL：

SELECT JSON_FORMAT(CAST(ROW('blah') AS ROW(x VARCHAR))) AS y

这个转换结果在Trino中执行会报错，因为Trino的JSON_FORMAT函数要求输入必须是JSON类型，而不是ROW类型。

技术分析

Spark和Trino的函数差异

在Spark中，TO_JSON函数可以直接将STRUCT类型转换为JSON字符串。而在Trino中，这个过程需要分两步：

1. 首先将ROW类型转换为JSON类型
2. 然后使用JSON_FORMAT函数将JSON类型转换为字符串

正确的转换逻辑

正确的转换应该遵循以下步骤：

1. 将Spark的STRUCT转换为Trino的ROW
2. 将ROW类型显式转换为JSON类型
3. 最后应用JSON_FORMAT函数

因此，正确的Trino SQL应该是：

SELECT JSON_FORMAT(CAST(CAST(ROW('blah') AS ROW(x VARCHAR)) AS JSON) AS y

解决方案

临时解决方案

在SQLGlot修复此问题前，可以使用AST转换器手动添加缺失的CAST操作：

from sqlglot import parse_one
import sqlglot.expressions as exp

def transformer(node):
    if isinstance(node, exp.JSONFormat):
        return exp.JSONFormat(
            this=exp.Cast(
                this=node.this,
                to=exp.DataType(this=exp.DataType.Type.JSON, nested=False)
            )
        )
    return node

spark_query = "SELECT TO_JSON(STRUCT('blah' as x)) as y"
ast_query = parse_one(spark_query, read='spark').transform(transformer)
trino_query = ast_query.sql(dialect='trino')

根本解决方案

SQLGlot项目团队已经修复了这个问题。修复方案是在JSONFormat节点转换时自动添加CAST操作，确保传递给JSON_FORMAT函数的参数是JSON类型。

技术要点总结

1. 不同SQL方言对JSON处理的实现方式不同
2. 类型系统在SQL转换中至关重要，必须确保类型兼容
3. AST转换是SQLGlot强大的功能，可以用于临时解决特定转换问题
4. 理解源方言和目标方言的函数语义差异是正确转换的关键

这个问题展示了SQL方言转换中的典型挑战，也体现了SQLGlot这类工具的实用价值。通过AST操作，我们既可以在工具层面解决问题，也可以在应用层实现临时解决方案。