ByConity 1.0 版本中 Kafka 消费重启问题的分析与解决

问题背景

在 ByConity 1.0 版本中，用户尝试执行 SYSTEM RESTART CONSUME 命令重启 Kafka 消费时遇到了错误。错误信息显示系统无法找到物化视图(MV)的目标表，尽管相关视图表确实存在。这个问题在从 0.4.2 版本升级到 1.0 版本后出现，且与存储策略配置密切相关。

错误现象

执行重启 Kafka 消费命令时，系统报错如下：

Code: 49. DB::Exception: Received from localhost:9000. DB::Exception: DB::Exception: Could not get a target server to start job for clientpoint.stg_clientpoints_data_kafka (9b62bcf2-68a1-4fe8-b5d6-54bdd6c5a42e), got exception: Got exception 408. DB::Exception: Target table not found for MV clientpoint.stg_clientpoints_data_view SQLSTATE: 42000 when getTargetServer for clientpoint.stg_clientpoints_data_kafka (9b62bcf2-68a1-4fe8-b5d6-54bdd6c5a42e) SQLSTATE: HY000. SQLSTATE: HY000.

同时，Daemon Manager 服务日志中出现了关于 Consul 服务发现的错误：

CnchRefreshMaterializedView: std::unordered_map<UUID, StorageID> DB::DaemonManager::getUUIDsFromCatalog(DB::DaemonManager::DaemonJobServerBGThread &): Code: 49, e.displayText() = DB::Exception: There is no consul service discovery

问题分析

经过深入排查，发现该问题与以下因素相关：

1. 存储策略配置问题：虽然用户实际使用的是 S3 存储，但配置中保留了 HDFS 相关的存储策略，这导致系统尝试初始化 HDFS 连接时失败。

2. 版本升级兼容性问题：从 0.4.2 版本升级到 1.0 版本后，系统对存储策略的处理方式发生了变化，特别是对于 HDFS 配置的检查更加严格。

3. 配置文件加载机制变更：1.0 版本对配置文件的加载顺序和方式进行了优化，不再支持通过单独的 HDFS 配置文件加载相关配置。

解决方案

针对这个问题，有两种可行的解决方案：

方案一：完全移除 HDFS 相关配置（推荐）

如果用户确实不使用 HDFS 存储，可以采取以下步骤：

1. 修改 values.yaml 文件，删除 storage_configuration 下所有与 HDFS 相关的配置项
2. 删除 deploy/chart/byconity/files 目录下的 HDFS 相关配置文件
3. 确保所有表的存储策略都指向正确的存储类型（如 S3 或本地存储）

方案二：调整 HDFS 配置加载方式

如果用户需要使用 HDFS 存储，可以按照以下方式调整配置：

1. 将 /etc/byconity/hdfs3.xml 中的所有 HDFS 相关配置移动到 daemon-manager.yaml 中
2. 从 daemon-manager.yaml 中删除 hdfs3_config 和 cnch_config 配置项
3. 重启 Daemon Manager 服务使配置生效

最佳实践建议

1. 版本升级前的检查：在升级 ByConity 版本前，应仔细检查当前的存储策略配置，确保没有遗留的不必要的存储类型配置。

2. 配置规范化：建议将所有存储相关配置集中管理，避免分散在多个配置文件中。

3. 存储策略审核：定期检查数据库中各表的存储策略，确保它们指向正确的存储类型。

4. 测试环境验证：在升级生产环境前，先在测试环境中验证配置的兼容性。

总结

ByConity 1.0 版本对存储策略的处理更加严格和规范，这可能导致从旧版本升级时出现配置兼容性问题。通过合理调整存储策略配置，特别是清理不再使用的存储类型配置，可以有效解决 Kafka 消费重启失败的问题。这一改进虽然短期内可能带来一些迁移成本，但从长远来看有助于提高系统的稳定性和可维护性。