Apache Druid在Kubernetes环境下任务状态异常问题分析与解决方案

问题背景

在Apache Druid 32.0.1版本部署于Kubernetes 1.29.6环境时，用户发现一个典型问题：Kafka索引任务实际执行成功，但在系统界面中却显示为失败状态。该问题自Druid 27.0.0版本开始出现，而在26.0.0版本中表现正常。

问题现象

从日志分析可见，任务进程（Peon）在完成时确实输出了"SUCCESS"状态：

2025-03-31T09:00:06,127 INFO Task completed with status: {
  "id" : "index_kafka_account_statistics_5843c7683a014fd_lgbmackd",
  "status" : "SUCCESS",
  "duration" : 1788220,
  "errorMsg" : null
}

但最终任务状态却被标记为失败，错误信息显示："Peon did not report status successfully"。

根因分析

深入分析日志和代码后，发现问题的核心在于：

1. 任务生命周期管理：在Kubernetes环境下，Peon容器完成任务后会立即终止，而此时Overlord尝试获取最终状态时可能无法连接到已终止的容器。

2. 日志存储机制：默认使用本地文件系统（file类型）存储任务日志，在分布式环境下不可靠。当Peon终止后，Overlord无法访问其本地日志文件来确认最终状态。

3. 状态上报流程：Peon在终止前虽然将状态写入本地文件，但Overlord无法及时获取这些信息，导致误判为失败。

解决方案

经过实践验证，可通过以下配置解决该问题：

方案一：使用共享存储（推荐）

# 对于Azure环境
druid.indexer.logs.type=azure
druid.indexer.logs.container=<容器名称>
druid.indexer.logs.prefix=druid/indexing-logs

# 对于AWS S3环境
druid.indexer.logs.type=s3
druid.indexer.logs.s3Bucket=<桶名称>
druid.indexer.logs.s3Prefix=druid/indexing-logs

方案二：调整任务终止延迟（临时方案）

# 延长Peon终止等待时间
druid.indexer.runner.peonTerminationDelay=PT1M

技术原理

在分布式环境下，特别是Kubernetes这样的动态编排系统中，任务状态的可靠传递需要依赖以下机制：

1. 持久化存储：任务日志和状态必须存储在集群所有节点可访问的位置，如对象存储（S3/Azure Blob）或分布式文件系统。

2. 状态同步：Peon在终止前需要确保状态信息已完全同步到共享存储，Overlord能够从该存储中获取最终状态。

3. 容错机制：当直接通信失败时，系统应能自动回退到从持久化存储中读取状态。

最佳实践建议

1. 生产环境务必配置共享存储作为任务日志后端
2. 对于Kubernetes部署，建议使用azure或s3等云存储方案
3. 监控任务状态同步延迟指标
4. 定期验证日志存储的可访问性

版本兼容性说明

该问题主要影响Druid 27.0.0及以上版本，在26.0.0及以下版本由于任务生命周期管理机制不同，不会出现此问题。建议使用最新稳定版本并正确配置日志存储。

通过以上分析和解决方案，可以有效解决Druid在Kubernetes环境下任务状态显示异常的问题，确保系统稳定可靠运行。