Apache Druid中MV_CONTAINS函数引发NullPointerException问题分析

问题背景

在Apache Druid 30.0.0版本升级过程中，用户发现使用MV_CONTAINS函数结合JSON_QUERY_ARRAY的SQL查询会抛出NullPointerException异常，而在29.0.0版本中该查询可以正常工作。这个问题不仅影响升级体验，也暴露了Druid在处理复杂类型数组时的潜在缺陷。

问题复现

用户使用Druid文档中的示例数据集进行测试，执行如下查询时出现问题：

SELECT
  MV_CONTAINS(JSON_QUERY_ARRAY(agent, '$.type'), 'Browser'),
  agent,
  session
FROM "kttm"

在29.0.0版本中查询正常执行，但在30.0.0版本中会抛出NullPointerException。

技术分析

根本原因

该问题的根本原因在于Druid 30.0.0引入的一个优化逻辑存在缺陷。具体来说：

1. MV_CONTAINS函数底层使用了array_contains表达式处理
2. 当该表达式遇到复杂类型(COMPLEX)时，优化逻辑尝试将右侧参数转换为匹配数组元素类型
3. JSON_QUERY_ARRAY无法确定提取元素的类型，导致类型转换失败

优化路径分析

Druid在处理array_contains表达式时，会对原始数组类型进行特殊优化处理。当检测到数组元素为基本类型时，会尝试优化处理路径。然而，对于JSON_QUERY_ARRAY返回的复杂类型，这种优化路径会导致类型转换失败。

解决方案

临时解决方案

对于遇到此问题的用户，可以采用以下替代查询方式：

SELECT
  ARRAY_CONTAINS(JSON_VALUE(agent, '$.type' RETURNING VARCHAR ARRAY), 'Browser'),
  agent,
  session
FROM "kttm_nested_1"

这种写法不仅避免了问题，还具有更好的性能优势，因为JSON_VALUE表达式可以利用Druid的嵌套字段列优化。

长期修复方案

开发团队已经确定了永久修复方案，主要修改点是：

1. 在优化路径中增加对复杂类型的检查
2. 当遇到非基本类型或非基本类型数组时，直接返回原始表达式
3. 确保array_overlap函数也进行相同修复

修复后的代码会在遇到复杂类型时跳过优化路径，转而使用逐行检查的类型处理方式。

最佳实践建议

1. 优先使用ARRAY_函数：在处理JSON数组或数组列时，应优先使用ARRAY_CONTAINS而非MV_CONTAINS，因为MV_函数主要是为Druid旧版的多值字符串列设计的。

2. 合理选择JSON处理函数：JSON_VALUE比JSON_QUERY/JSON_QUERY_ARRAY性能更优，特别是在Druid 28+版本中，因为它能利用嵌套字段列优化。

3. 注意版本差异：Druid 28+版本对嵌套数组的存储进行了优化，旧版本创建的段可能需要回退到原始JSON处理方式。

总结

这个问题展示了Druid在处理复杂类型和优化路径时的一个边界情况。通过理解问题的本质，用户不仅可以应用临时解决方案，还能学习到Druid中JSON处理和数组操作的最佳实践。开发团队的修复将确保在保持性能优化的同时，正确处理各种数据类型场景。