Presto/Trino 任务重试机制中的任务状态管理问题分析

问题背景

在分布式SQL查询引擎Presto/Trino的最新版本中，用户在执行大规模数据处理任务时遇到了一个关于任务状态管理的严重问题。具体表现为系统抛出java.lang.IllegalStateException: task already marked as finished异常，导致查询失败。这个问题主要出现在使用Fault-Tolerant Execution(FTE)功能且配置了retry-policy=TASK的场景下。

问题现象

当用户执行大规模查询或表优化操作时，系统会间歇性出现任务状态不一致的情况。错误日志显示，调度器尝试将一个已经被标记为完成的任务再次标记为失败状态，从而触发非法状态异常。典型的错误堆栈如下：

java.lang.IllegalStateException: task 20250305_065017_09674_pwtt5.3.1.0 already marked as finished
    at io.trino.execution.scheduler.faulttolerant.EventDrivenFaultTolerantQueryScheduler$StagePartition.taskFailed

同时，系统日志中还会出现"Did not receive final task info for task"的警告信息，表明调度器未能正确接收到任务的最终状态信息。

技术分析

根本原因

这个问题源于Presto/Trino的容错执行机制中任务状态管理的一个竞态条件。具体来说：

1. 在Fault-Tolerant Execution模式下，系统会对失败的任务进行重试
2. 当任务执行时间较长或网络延迟较高时，可能会出现状态同步延迟
3. 调度器在未收到任务最终状态确认的情况下，会尝试强制标记任务状态
4. 如果此时任务实际上已经完成(但状态通知尚未到达调度器)，就会导致状态冲突

影响范围

该问题主要影响以下场景：

• 使用Iceberg等外部表格式执行大规模数据操作
• 执行长时间运行的查询或表维护操作(如OPTIMIZE)
• 启用了任务级重试策略(retry-policy=TASK)

解决方案

临时解决方案

对于急需解决问题的用户，可以暂时采取以下措施之一：

1. 禁用任务重试策略：将retry-policy设置为NONE
2. 回退到较稳定的旧版本(如471版本)

长期修复

开发团队已经提出了修复方案，主要改进包括：

1. 增强任务状态变更的原子性保证
2. 优化状态同步机制，减少竞态条件发生的可能性
3. 增加更合理的超时处理和错误恢复逻辑

最佳实践建议

对于生产环境中使用Presto/Trino的用户，建议：

1. 对于关键业务查询，先在测试环境中验证新版本的稳定性
2. 监控系统日志中的"Did not receive final task info"警告信息
3. 对于长时间运行的操作，考虑分批执行以减少单次操作的风险
4. 保持关注官方发布的修复版本更新

总结

这个问题展示了分布式系统中状态管理的复杂性，特别是在引入容错机制后。Presto/Trino团队正在积极解决这个问题，未来版本将提供更健壮的任务状态管理机制。对于受影响的用户，建议评估临时解决方案或等待官方修复版本发布。