Apache Kyuubi 中 Spark History Server 显示不完整应用的问题分析

问题背景

在 Apache Kyuubi 项目中，当用户尝试通过 Spark History Server 查看不完整的应用程序时，会遇到一个类型转换异常。具体表现为访问 Kyuubi Query Engine UI 时出现 HTTP 500 错误，错误信息显示无法将 Integer 类型转换为 Long 类型。

错误现象

用户在访问 Spark History Server 时，系统抛出以下异常：

java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long

这个错误发生在 org.apache.spark.ui.StatementStatsPagedTable.row 方法中，具体是在处理引擎页面数据时出现的类型转换问题。

问题根源

经过深入分析，这个问题与 Jackson 库在 Scala 中的类型处理有关。当 Spark History Server 尝试从持久化的数据中读取操作运行时间(operationRunTime)和操作CPU时间(operationCpuTime)时，Jackson 默认将这些数值反序列化为 Integer 类型，而代码中期望的是 Long 类型，导致了类型转换异常。

解决方案

针对这个问题，社区提出了两种解决方案：

1. 直接类型转换方案：在代码中显式地将 Integer 转换为 Long，这种方法虽然有效，但不是最优雅的解决方案。

2. Jackson 注解方案：使用 @JsonDeserialize 注解明确指定反序列化目标类型为 Long，这是更符合设计原则的解决方案。

最终采用了第二种方案，通过在相关字段上添加 @JsonDeserialize(contentAs = classOf[java.lang.Long]) 注解，明确告诉 Jackson 反序列化器应该将数值转换为 Long 类型，从而避免了类型转换异常。

技术细节

这个问题实际上反映了 Scala 和 Java 类型系统在 Jackson 序列化/反序列化过程中的一些微妙差异。在 Scala 中，数值类型的处理有时会与 Java 产生不一致，特别是在泛型和类型擦除的上下文中。

@JsonDeserialize 注解是 Jackson 提供的一个强大工具，它允许开发者精确控制反序列化过程。在这个案例中，我们用它来确保数值字段总是被反序列化为 Long 类型，无论原始数据是以什么格式存储的。

影响范围

该问题主要影响以下场景：

• 使用 Spark 3.3.2 版本的集群
• 通过 Spark History Server 查看不完整的应用程序
• 访问 Kyuubi Query Engine UI 时

修复效果

修复后，用户可以正常通过 Spark History Server 查看所有应用程序，包括不完整的应用，且 Kyuubi Query Engine UI 能够正确显示，不再出现类型转换错误。

总结

这个问题展示了在复杂的数据处理系统中，类型系统的一致性是多么重要。通过使用 Jackson 提供的类型提示功能，我们能够确保数据在不同组件间传递时保持类型一致性，从而避免运行时异常。这也提醒开发者在设计跨语言、跨系统的数据接口时，需要特别注意类型处理的问题。