StreamPark中应用日志查询接口的SQL语法错误问题分析

问题背景

在Apache StreamPark项目2.1.5版本中，当用户通过/flink/app/log和/spark/app/log接口查询应用日志时，系统会抛出BadSqlGrammarException异常。这个问题的根源在于数据库表结构与实体类定义不一致，导致MyBatis执行SQL查询时出现语法错误。

问题原因

1. 实体类与表结构不匹配：在PR #4098中，ApplicationLog实体类新增了jobType字段，但对应的数据库表t_app_log中并未添加相应的job_type列。

2. SQL查询失败：当执行日志查询时，MyBatis生成的SQL语句包含了job_type字段，而数据库表中不存在该字段，导致"Unknown column 'job_type' in 'field list'"错误。

3. 排序字段缺失：t_app_log表还缺少create_time字段，这使得基于create_time的默认排序功能无法正常工作。

技术细节

数据库表结构问题

原始的t_app_log表结构缺少两个关键字段：

• job_type：用于记录作业类型的字段
• create_time：用于记录创建时间的字段

实体类定义

ApplicationLog实体类包含了jobType字段，但数据库层面没有相应的映射：

public class ApplicationLog {
    private Long id;
    private Long appId;
    private Integer jobType;  // 新增字段
    private String clusterId;
    private String trackingUrl;
    private Boolean success;
    // 其他字段...
}

错误SQL

系统尝试执行的错误SQL语句：

SELECT id, app_id, job_type, cluster_id, tracking_url, success, 
       option_name, option_time, exception, user_id 
FROM t_app_log 
WHERE (app_id = ?) 
ORDER BY create_time DESC, option_time DESC 
LIMIT ?

解决方案

1. 执行升级脚本：需要执行2.2.0版本的升级SQL脚本，添加缺失的字段。

2. 手动修改表结构：对于无法自动升级的环境，需要手动修改mysql-schema.sql文件，在创建t_app_log表时添加job_type和create_time字段。

3. 代码兼容性处理：在日志查询接口中，应考虑字段缺失的情况，提供降级处理方案。

经验总结

1. 数据库变更管理：在添加实体类字段时，必须同步考虑数据库表结构的变更，保持两者的一致性。

2. 升级脚本完整性：版本升级时，需要确保所有必要的数据库变更都包含在升级脚本中。

3. 兼容性设计：对于可能缺失的字段，代码中应做好防御性编程，避免因字段缺失导致系统不可用。

4. 自动化测试：建立数据库变更与实体类变更的关联测试，确保这类问题能在开发早期被发现。

这个问题虽然看似简单，但反映了数据库与代码同步变更的重要性，是分布式系统开发中需要特别注意的一个方面。