StreamPark项目SQL表结构不一致导致日志查询异常问题分析

问题背景

在Apache StreamPark项目2.1.5版本中，开发团队在ApplicationLog实体类中新增了一个名为"jobType"的成员变量，用于记录作业类型信息。这一变更通过PR #4098合并到主分支，但团队在实施过程中遗漏了对应的数据库表结构变更，导致系统在查询应用日志时抛出BadSqlGrammarException异常。

问题现象

当用户通过/flink/app/log和/spark/app/log接口查询应用日志时，系统会抛出以下异常：

org.springframework.jdbc.BadSqlGrammarException: Unknown column 'job_type' in 'field list'

异常信息明确指出，系统尝试查询t_app_log表中的job_type字段，但该字段在数据库中并不存在。

根本原因分析

经过深入分析，该问题主要由以下几个因素共同导致：

1. 数据库表结构不一致：ApplicationLog实体类新增了jobType属性，但t_app_log表未同步添加对应的job_type字段。

2. SQL查询语句生成问题：MyBatis框架基于实体类属性自动生成的SQL查询语句包含了job_type字段，而数据库表结构未更新。

3. 排序字段缺失：t_app_log表缺少create_time字段，而系统默认使用该字段进行排序查询。

影响范围

该问题主要影响以下功能：

• Flink应用日志查询接口(/flink/app/log)
• Spark应用日志查询接口(/spark/app/log)
• 所有依赖t_app_log表查询的功能模块

解决方案

针对该问题，开发团队提出了以下解决方案：

1. 执行2.2.0版本的升级SQL脚本：升级脚本中应包含添加job_type字段的DDL语句。

2. 手动修改mysql-schema.sql：在表创建语句中显式添加job_type字段定义。

3. 补充缺失的create_time字段：确保表结构支持默认的排序查询。

问题关联

值得注意的是，该问题与另一个issue #4217存在重复报告的情况，说明该问题在多个场景下都会触发，进一步证明了修复的必要性。

经验总结

这个案例为我们提供了宝贵的经验教训：

1. 数据库变更管理：实体类变更必须与数据库表结构变更同步进行，建议采用数据库迁移工具管理表结构变更。

2. 完整测试覆盖：对于涉及数据持久层的变更，应增加完整的集成测试用例，覆盖所有相关查询场景。

3. 变更清单检查：在代码评审过程中，应建立变更清单检查机制，确保相关变更的完整性。

4. 文档更新同步：任何数据库相关的变更都应同步更新项目文档，包括schema定义和升级指南。

通过这次问题的分析和解决，StreamPark项目团队进一步完善了数据库变更管理流程，为后续版本的质量保障奠定了基础。