Apache Doris中的EXPLODE_JSON_OBJECT函数详解

函数概述

在Apache Doris中，EXPLODE_JSON_OBJECT和EXPLODE_JSON_OBJECT_OUTER是两个用于处理JSON数据的表函数，它们能够将JSON对象展开为多行数据，每行包含一个键值对。这两个函数在处理半结构化数据时特别有用，可以将嵌套的JSON结构转换为平面表格形式，便于后续的SQL查询和分析。

函数区别

这两个函数的主要区别在于处理空值和NULL值时的行为：

1. EXPLODE_JSON_OBJECT：

   • 仅处理非空的JSON对象
   • 对于空对象或NULL值，不会返回任何行

2. EXPLODE_JSON_OBJECT_OUTER：

   • 可以处理所有JSON对象，包括空对象和NULL值
   • 对于空对象或NULL值，会返回一行，其中展开的列为NULL

语法结构

EXPLODE_JSON_OBJECT(<json>)
EXPLODE_JSON_OBJECT_OUTER(<json>)

参数说明

参数名	类型	描述
<json>	JSON	需要展开的JSON对象

返回值说明

当JSON对象非空且非NULL时，两个函数的返回值相同：

• 每行包含两个列：键(key)和值(value)
• 每个键值对生成一行数据

当JSON对象为空或NULL时：

• EXPLODE_JSON_OBJECT：不返回任何行
• EXPLODE_JSON_OBJECT_OUTER：返回一行，键和值列均为NULL

实际应用示例

1. 创建测试表并插入数据

首先我们创建一个包含JSON类型列的表：

CREATE TABLE example (
    id INT,
    value_json json
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(`id`) BUCKETS AUTO
PROPERTIES (
"replication_allocation" = "tag.location.default: 1");

插入测试数据，包括正常JSON对象、空对象和NULL值：

INSERT INTO example VALUES
(1, '{"key1": "value1", "key2": "value2"}'),
(2, '{}'),
(3, NULL);

2. 使用EXPLODE_JSON_OBJECT函数

SELECT id, k, v
FROM example
LATERAL VIEW explode_json_object(value_json) exploded_table AS k , v;

执行结果：

+------+------+----------+
| id   | k    | v        |
+------+------+----------+
|    1 | key1 | "value1" |
|    1 | key2 | "value2" |
+------+------+----------+

可以看到，只有ID为1的记录被展开，因为它包含有效的JSON对象。

3. 使用EXPLODE_JSON_OBJECT_OUTER函数

SELECT id, k, v
FROM example
LATERAL VIEW explode_json_object_outer(value_json) exploded_table AS k, v;

执行结果：

+------+------+----------+
| id   | k    | v        |
+------+------+----------+
|    3 | NULL | NULL     |
|    1 | key1 | "value1" |
|    1 | key2 | "value2" |
|    2 | NULL | NULL     |
+------+------+----------+

这次所有记录都被处理，包括空对象和NULL值。

使用场景建议

1. 数据清洗：当需要将JSON格式的日志或API响应数据转换为结构化表格时
2. 数据分析：需要对JSON对象中的各个键值对进行统计分析时
3. 数据集成：将不同来源的JSON数据统一转换为表格形式进行整合

性能考虑

• 对于大型JSON对象，展开操作可能会生成大量行，影响查询性能
• 在分布式环境中，展开后的数据分布可能与原表不同，可能影响后续的JOIN操作性能
• 建议在ETL过程中预先处理JSON数据，而不是在查询时频繁使用这些函数

总结

Apache Doris提供的EXPLODE_JSON_OBJECT系列函数为处理JSON数据提供了强大的工具。根据实际需求选择合适版本：

• 如果只需要处理有效JSON对象，使用EXPLODE_JSON_OBJECT
• 如果需要保留所有记录包括空值，使用EXPLODE_JSON_OBJECT_OUTER

这些函数使得在关系型数据库中处理半结构化数据变得更加便捷，为数据分析师提供了更多灵活性。