Apache Doris中的EXPLODE_SPLIT表函数详解

概述

在Apache Doris中，EXPLODE_SPLIT是一个强大的表函数，主要用于将字符串按照指定的分隔符拆分成多个子字符串，并将每个子字符串扩展为单独的行。这个函数在处理包含分隔符的字符串数据时特别有用，能够帮助我们将复杂的字符串数据分解为更易处理的格式。

函数语法

EXPLODE_SPLIT函数有两种形式：

EXPLODE_SPLIT(<str>, <delimiter>)
EXPLODE_SPLIT_OUTER(<str>, <delimiter>)

其中：

• <str>：需要拆分的字符串，必须是字符串类型
• <delimiter>：用于拆分字符串的分隔符

函数区别

EXPLODE_SPLIT和EXPLODE_SPLIT_OUTER的主要区别在于它们对空值或NULL值的处理方式：

• EXPLODE_SPLIT：当输入字符串为空或NULL时，不返回任何行
• EXPLODE_SPLIT_OUTER：当输入字符串为空或NULL时，会返回一行NULL值

使用场景

EXPLODE_SPLIT函数通常与LATERAL VIEW一起使用，这种组合可以：

1. 将包含多个值的字符串列拆分为多行
2. 处理CSV格式的数据
3. 分解标签或分类数据
4. 处理日志中的多值字段

实际示例

让我们通过几个具体的例子来理解这个函数的使用方法。

基础数据准备

首先我们创建一个示例表并插入一些测试数据：

CREATE TABLE example1 (
    k1 INT,
    k2 STRING NULL
) DUPLICATE KEY(k1)
DISTRIBUTED BY HASH(`k1`) BUCKETS AUTO
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);

INSERT INTO example1 VALUES 
(1, ''),
(2, NULL),
(3, ','),
(4, '1'),
(5, '1,2,3'),
(6, 'a, b, c');

示例1：处理空字符串

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 1 
ORDER BY k1, e1;

结果：

+------+------+
| k1   | e1   |
+------+------+
|    1 |      |
+------+------+

这个例子展示了当字符串为空时，EXPLODE_SPLIT会返回一个空字符串的行。

示例2：处理NULL值

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 2 
ORDER BY k1, e1;

结果：

Empty set

对于NULL值，EXPLODE_SPLIT不会返回任何行。如果需要保留NULL值，应该使用EXPLODE_SPLIT_OUTER。

示例3：处理仅包含分隔符的字符串

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 3 
ORDER BY k1, e1;

结果：

+------+------+
| k1   | e1   |
+------+------+
|    3 |      |
+------+------+

示例4：处理简单值

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 4 
ORDER BY k1, e1;

结果：

+------+------+
| k1   | e1   |
+------+------+
|    4 | 1    |
+------+------+

示例5：处理多值字符串

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 5 
ORDER BY k1, e1;

结果：

+------+------+
| k1   | e1   |
+------+------+
|    5 | 1    |
|    5 | 2    |
|    5 | 3    |
+------+------+

示例6：处理包含空格的字符串

SELECT k1, e1 FROM example1 
LATERAL VIEW EXPLODE_SPLIT(k2, ',') tmp1 AS e1 
WHERE k1 = 6 
ORDER BY k1, e1;

结果：

+------+------+
| k1   | e1   |
+------+------+
|    6 | a    |
|    6 |  b   |
|    6 |  c   |
+------+------+

示例7：EXPLODE_SPLIT_OUTER的使用

SELECT id, e1 FROM example2 
LATERAL VIEW EXPLODE_SPLIT_OUTER(str, ',') tmp1 AS e1 
WHERE id = 2 
ORDER BY id, e1;

结果：

+------+------+
| id   | e1   |
+------+------+
|    2 | NULL |
+------+------+

性能考虑

在使用EXPLODE_SPLIT函数时，需要注意以下几点性能考虑：

1. 拆分大量长字符串可能会消耗较多内存
2. 对于包含大量子字符串的行，会产生大量输出行
3. 在JOIN操作中使用时，可能会显著增加数据量

最佳实践

1. 过滤数据：在使用EXPLODE_SPLIT前，先过滤掉不需要的行，减少处理的数据量
2. 合理使用OUTER版本：只有在确实需要保留NULL值时才使用EXPLODE_SPLIT_OUTER
3. 注意排序：拆分后的结果顺序可能与原始字符串中的顺序不同，如有需要应显式排序
4. 处理空格：注意分隔符周围的空格可能会影响结果，必要时使用TRIM函数

总结

EXPLODE_SPLIT是Apache Doris中处理字符串拆分场景的强大工具，特别是与LATERAL VIEW结合使用时，可以有效地将复杂的字符串数据转换为更易分析的格式。理解其与EXPLODE_SPLIT_OUTER的区别，并根据实际需求选择合适的函数版本，是高效使用这个函数的关键。