Strimzi Kafka Operator 升级测试中Kafka版本支持问题的分析与修复

问题背景

在Strimzi Kafka Operator的系统测试中，StrimziUpgradeST.testUpgradeAcrossVersionsWithUnsupportedKafkaVersion测试用例旨在验证当集群使用一个在目标版本中不再支持的Kafka版本时，升级过程的行为。然而，该测试存在一个关键缺陷：它实际上使用了当前版本支持的Kafka版本，而非真正不支持的版本，导致测试未能覆盖预期的场景。

问题分析

测试用例设计意图

该测试的设计目的是验证以下场景：

1. 集群初始使用一个在当前版本支持但目标版本不支持的Kafka版本
2. 执行Strimzi Operator的升级
3. 由于Kafka版本不兼容，集群应处于NotReady状态
4. 将Kafka版本更新为目标版本支持的版本
5. 验证集群最终能够成功升级

实际实现问题

测试实现中存在两个主要问题：

1. 版本选择错误：测试错误地解析了Kafka版本，导致使用了当前版本支持的版本而非不支持的版本。这使得测试实际上变成了一个普通的升级测试，失去了验证不兼容版本升级场景的意义。

2. 缺乏等待机制：与大多数升级测试不同，该测试没有等待第一次升级完成的相关机制。这可能导致在快速连续的操作中出现时序问题，例如实体操作器(Entity Operator)未能及时升级。

技术影响

当使用真正不支持的Kafka版本时，集群会进入NotReady状态，并显示类似如下的状态信息：

status:
  clusterId: wvnIjVd_R4mfeA8TUHU4tQ
  conditions:
  - lastTransitionTime: "2024-08-26T18:25:05.618017238Z"
    message: 'Unsupported Kafka.spec.kafka.version: 3.6.0. Supported versions are:
      [3.7.0, 3.7.1, 3.8.0]'
    reason: UnsupportedKafkaVersionException
    status: "True"
    type: NotReady
  kafkaMetadataState: ZooKeeper
  kafkaVersion: 3.6.0
  observedGeneration: 1
  operatorLastSuccessfulVersion: 0.42.0

在这种情况下，只有Cluster Operator的Pod会滚动更新，而Kafka、ZooKeeper和Entity Operator的Pod会保持不变，因为它们无法使用不支持的Kafka版本进行升级。

解决方案

版本选择机制改进

为确保测试使用真正不支持的Kafka版本，实现了以下逻辑：

1. 从即将部署的旧Strimzi版本中获取支持的Kafka版本列表
2. 选择其中最旧的版本
3. 验证当前Strimzi版本(升级目标)是否支持该Kafka版本
   • 如果支持，则跳过测试
   • 如果不支持，则使用该版本进行测试

这种方法确保了测试只在存在版本不兼容的情况下执行，避免了无效的测试场景。

测试流程优化

修复后的测试流程如下：

1. 部署使用旧Strimzi版本和"即将不支持的"Kafka版本的集群
2. 升级Cluster Operator到新版本
3. 验证集群因Kafka版本不兼容而进入NotReady状态
4. 更新Kafka版本为新版本支持的版本
5. 验证集群最终成功完成升级

实现细节

在代码实现上，主要修改包括：

1. 在TestKafkaVersion类中添加了新方法，用于从指定URL获取支持的Kafka版本列表并识别最旧的版本
2. 在UpgradeKafkaVersion类中集成了版本兼容性检查逻辑
3. 更新了测试用例以确保使用正确的(不支持的)Kafka版本
4. 添加了适当的等待机制，确保在验证前各组件状态稳定

总结

通过对Strimzi Kafka Operator升级测试中Kafka版本支持问题的修复，确保了测试能够准确验证在不兼容Kafka版本情况下的升级行为。这一改进不仅增强了测试的可靠性，也为用户在实际生产环境中处理类似情况提供了参考。该修复已通过代码审查并合并到主分支，将在未来的Strimzi版本中生效。

对于系统测试的完善是确保分布式系统可靠性的重要环节，特别是在处理复杂的升级场景时。Strimzi项目团队将持续改进测试覆盖范围，以提供更稳定的Kafka Operator体验。