Rundeck项目中的日志目录竞争条件问题分析

问题背景

在分布式任务调度系统Rundeck中，当首次并发执行同一个作业时，系统会尝试为每个执行实例创建独立的日志存储目录。然而，由于缺乏适当的同步机制，多个并发线程同时尝试创建相同的目录结构时，可能会出现竞争条件问题。

问题现象

当用户通过API首次并发执行同一个作业时，系统日志中会出现"Unable to create directories for storage"的错误信息。具体表现为：

• 只有第一个创建目录的线程能够成功
• 后续线程会因为目录已存在而抛出IllegalStateException
• 导致部分执行实例无法正常启动
• 该问题仅在作业首次执行时出现，因为后续执行时主日志目录已经存在

技术分析

问题的核心位于LogFileStorageService.groovy文件的getLogFileWriterForExecution方法中。该方法负责为每个执行实例创建日志文件存储路径，关键代码如下：

def parent = file.parentFile
if (!parent.exists() && !parent.mkdirs()) {
    throw new IllegalStateException("Unable to create directories for storage: ${file.absolutePath}")
}

这段代码存在两个潜在问题：

1. 检查-执行竞态条件：在检查目录是否存在(!parent.exists())和实际创建目录(parent.mkdirs())之间存在时间窗口，多个线程可能同时通过检查，然后都尝试创建目录
2. 非原子操作：mkdirs()方法本身不是原子操作，当多个线程同时调用时可能出现意外行为

解决方案建议

针对这类并发目录创建问题，可以考虑以下几种解决方案：

1. 双重检查锁定模式：在同步块内再次检查目录是否存在

   synchronized(this) {
       if (!parent.exists()) {
           parent.mkdirs()
       }
   }
   

2. 使用Java NIO的Files.createDirectories：该方法提供了更好的原子性保证

   Files.createDirectories(parent.toPath())
   

3. 忽略目录已存在异常：捕获并忽略FileAlreadyExistsException异常

4. 预创建目录结构：在作业首次保存时就创建好必要的目录结构

最佳实践

在生产环境中处理类似问题时，建议：

1. 使用Java NIO API而非传统File API，因为前者提供了更好的原子性保证
2. 对于关键路径操作，考虑添加适当的同步机制
3. 实现幂等性操作，使重复调用不会产生副作用
4. 添加适当的错误处理和日志记录，便于问题诊断

影响范围

该问题主要影响：

• 首次并发执行同一作业的场景
• 通过API批量触发作业执行的用例
• 高并发环境下的作业执行可靠性

对于大多数单次执行或低并发场景，该问题可能不会显现。

结论

Rundeck中的这个竞争条件问题展示了在并发环境下处理文件系统操作时的常见陷阱。通过采用更安全的目录创建策略或添加适当的同步机制，可以显著提高系统在高并发场景下的可靠性。这类问题的解决不仅限于修复当前缺陷，更应作为设计分布式系统时处理共享资源访问的典型案例来学习。