AWS Controllers for Kubernetes (ACK) DynamoDB控制器版本升级导致表副本被删除问题分析

问题背景

在AWS Controllers for Kubernetes (ACK)的DynamoDB控制器v1.2.22版本中，存在一个可能导致生产环境问题的行为变更。当用户升级到此版本后，控制器会自动同步DynamoDB表的副本配置，这可能会删除那些通过AWS控制台手动创建的表副本。

问题现象

具体表现为：

1. 用户先前通过AWS控制台在us-east-1区域创建了DynamoDB表的副本
2. 升级到v1.2.22版本后，控制器生成的Table资源中spec.tableReplicas字段被设置为null
3. 控制器随后删除了预先创建的副本表
4. 这导致了应用程序的停机时间

技术原理分析

ACK DynamoDB控制器在v1.2.22版本中引入了表副本同步功能。当控制器检测到资源的期望状态(spec)与实际状态(status)不一致时，会自动执行同步操作。在这个案例中：

1. 由于表副本是通过AWS控制台手动创建的，而不是通过Kubernetes资源定义的
2. 控制器在生成资源定义时没有包含这些手动创建的副本信息
3. 导致spec.tableReplicas字段为空
4. 控制器误判这是用户期望删除所有副本的指令

影响范围

该问题主要影响：

1. 已经通过AWS控制台手动配置表副本的用户
2. 正在从旧版本升级到v1.2.22版本的环境
3. 生产环境中依赖多区域副本的高可用性应用

解决方案

项目维护团队已经提供了两种解决方案：

1. 短期解决方案：升级到v1.2.23版本

   • 这个版本回滚了表副本同步功能
   • 现有表副本将保持原状不受影响

2. 长期解决方案：升级到v1.3.0版本

   • 这个版本完整实现了表副本管理功能
   • 提供了更稳定和可控的副本同步机制

最佳实践建议

1. 在升级ACK控制器前，应仔细阅读版本变更说明
2. 对于生产环境，建议先在测试环境验证升级影响
3. 对于关键业务表，考虑先备份数据再进行升级
4. 使用基础设施即代码(IaC)方式管理所有AWS资源，避免手动操作

总结

这个案例展示了基础设施自动化工具在版本升级时可能带来的意外影响。它强调了变更管理和测试环境验证的重要性。ACK项目团队通过快速响应和版本迭代，为用户提供了平滑的升级路径，同时也提醒我们在使用云原生工具时需要理解其行为模式和工作原理。