Apache Kyuubi 中 Spark History Server 显示不完整应用问题的分析与解决

问题背景

在 Apache Kyuubi 项目中，当用户使用 Spark 3.3.2 版本时，发现了一个关于 Spark History Server 显示不完整应用的问题。具体表现为：在 Spark History Server 界面中查看已完成应用时，Kyuubi Query Engine UI 会抛出类型转换异常，导致页面无法正常显示。

问题现象

用户访问 Spark History Server 查看已完成应用时，系统会返回 HTTP 500 错误，并显示以下异常信息：

java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long

异常堆栈显示问题出现在 org.apache.spark.ui.StatementStatsPagedTable.row 方法中，具体是在处理 operationRunTime 或 operationCpuTime 字段时发生的类型转换错误。

问题分析

经过深入分析，这个问题与 Jackson 库在 Scala 中的序列化/反序列化行为有关。具体来说：

1. 在 Spark UI 中，某些时间相关的字段（如运行时间、CPU 时间）被定义为 Long 类型
2. 但在 JSON 序列化/反序列化过程中，这些字段可能被错误地转换为 Integer 类型
3. 当 Spark History Server 尝试将这些值转换回 Long 类型时，就会抛出 ClassCastException

这个问题实际上是 Jackson 模块在 Scala 环境中的一个已知问题，当处理数值类型时可能会发生意外的类型转换。

解决方案

针对这个问题，我们采用了以下解决方案：

1. 在相关的字段上添加 @JsonDeserialize 注解，明确指定反序列化时的目标类型
2. 具体来说，为 operationRunTime 和 operationCpuTime 字段添加了 @JsonDeserialize(contentAs = classOf[java.lang.Long]) 注解
3. 这样确保无论 JSON 中这些字段以什么数值类型出现，都会被正确地反序列化为 Java 的 Long 类型

解决方案验证

该解决方案已经过验证：

1. 在 Spark 3.3.2 环境中测试通过
2. 修复后，Spark History Server 能够正确显示已完成应用的详细信息
3. Kyuubi Query Engine UI 不再出现类型转换异常
4. 页面能够正常渲染所有操作统计信息

技术要点

这个问题揭示了在大数据系统中类型处理的一些重要注意事项：

1. 跨系统数据交换时，类型一致性非常重要
2. JSON 序列化/反序列化过程中，数值类型的处理需要特别注意
3. 在 Scala 和 Java 混合的环境中，明确指定类型转换规则可以避免许多潜在问题
4. 对于时间相关的字段，统一使用 Long 类型可以避免精度和范围问题

总结

通过这次问题的分析和解决，我们不仅修复了一个具体的 Bug，还加深了对 Spark UI 和 Kyuubi 集成时类型处理机制的理解。这个案例也提醒开发者，在处理跨系统数据交换时，需要特别注意类型的一致性和明确的转换规则。

该修复已经合并到 Apache Kyuubi 的主干代码中，将为使用 Spark 3.x 版本的用户提供更稳定的体验。