Argo Rollouts 中 HPA 缩容导致应用状态异常问题分析

问题背景

在使用 Argo Rollouts 配合 KEDA 进行应用自动扩缩容时，用户发现了一个影响应用稳定性的问题：当 Horizontal Pod Autoscaler (HPA) 触发应用缩容时，特别是从 2 个副本缩容到 1 个副本的场景下，Rollout 资源会进入"Degraded"(降级)状态，导致应用状态异常。

问题现象

当应用负载降低触发自动缩容时，系统表现出以下异常行为：

1. 状态不一致：Rollout 资源的状态字段未能正确反映实际的副本数量和 HPA 状态
2. 控制器行为异常：在减少 Pod 数量时，控制器错误地尝试创建新副本
3. 状态机紊乱：应用最终进入 Degraded 状态，并显示"ProgressDeadlineExceeded"错误

技术分析

根本原因

这个问题源于 Argo Rollouts 控制器与 KEDA 的 ScaledObject 在协调副本数量时的同步问题。具体表现为：

1. 状态更新滞后：控制器未能及时更新 Rollout 状态中的副本数量信息
2. 条件判断缺陷：在特定缩容场景下(特别是 2→1)，控制器的健康检查逻辑存在缺陷
3. HPA 集成问题：与 KEDA 的 HPA 控制器在副本数变更时的协调机制不够健壮

影响范围

虽然问题最初在 2→1 缩容场景下被发现，但实际可能影响任何 N→N-1 的缩容操作。在更高副本数的缩容过程中，Degraded 状态可能被后续的缩容操作覆盖，因此不易被发现。

解决方案

该问题已在 Argo Rollouts 1.8 版本中得到修复。升级到该版本后，用户应不再遇到此类问题。

最佳实践建议

对于仍在使用旧版本的用户，可以采取以下临时措施：

1. 监控状态变化：设置监控检查 Rollout 状态中的 HPAReplicas 与 spec.replicas 是否一致
2. 手动恢复：当出现 Degraded 状态时，可通过修改 Rollout 资源触发重新同步
3. 调整进度期限：适当延长 progressDeadlineSeconds 参数，减少误报

总结

Argo Rollouts 与 KEDA 的集成提供了强大的应用部署和自动扩缩容能力，但在复杂场景下仍可能出现协调问题。保持组件版本更新是确保系统稳定性的关键。对于生产环境，建议在升级前充分测试新版本的兼容性。