Kyuubi项目测试日志上传权限问题分析与解决

在Kyuubi开源项目的持续集成测试过程中，开发团队发现了一个关于测试日志上传的权限问题。本文将详细分析该问题的背景、原因以及解决方案。

问题背景

Kyuubi项目在进行自动化测试时，会生成大量测试日志文件。这些日志对于后续的问题排查和分析至关重要。然而，在最近的一次CI测试运行中，日志上传步骤出现了权限拒绝的错误。

错误信息显示，系统尝试扫描/home/runner/work/kyuubi/kyuubi/externals/kyuubi-spark-sql-engine/target/tmp/jetcd_test_etcd0_3772435056052867764/member目录时被拒绝，错误代码为EACCES，表明当前执行用户没有足够的权限访问该目录。

技术分析

根本原因

1. 目录权限设置：测试过程中创建的临时目录可能设置了过于严格的权限，导致CI系统的运行用户无法读取。

2. Jetcd测试环境：问题出现在与Jetcd相关的测试目录中，Jetcd是Etcd的Java客户端，用于分布式系统的协调服务测试。

3. CI环境限制：GitHub Actions的runner在执行时有一定的权限限制，特别是对于临时生成的文件和目录。

影响范围

• 该问题直接影响测试日志的收集和上传，可能导致重要的调试信息丢失。
• 不会影响实际的测试执行过程，但会妨碍后续的问题诊断。

解决方案

开发团队通过以下方式解决了这个问题：

1. 调整测试目录权限：在测试执行完成后，显式地修改相关目录的权限，确保CI系统能够访问。

2. 优化日志收集策略：重新设计日志收集的范围和方式，避免尝试访问不必要的系统目录。

3. 增强错误处理：在日志上传步骤中添加更完善的错误处理机制，确保即使部分日志无法上传，也不会中断整个CI流程。

实施效果

经过修复后：

• 测试日志能够完整地上传到CI系统，便于开发人员分析测试结果。
• 提高了CI流程的稳定性，减少了因权限问题导致的构建失败。
• 为后续类似问题的处理提供了参考方案。

经验总结

在分布式系统的测试环境中，特别是涉及多进程、临时文件的操作时，需要特别注意：

1. 文件系统权限的管理
2. CI环境的特殊限制
3. 测试资源的清理策略

Kyuubi项目通过这次问题的解决，进一步完善了其测试基础设施的健壮性，为项目的持续集成流程提供了更可靠的保障。