Autoware项目Docker构建中的磁盘空间问题分析与解决方案

问题背景

在Autoware项目的持续集成流程中，使用ARM64架构的自托管运行器执行Docker镜像构建任务时，频繁出现"设备上没有剩余空间"的错误。这一问题主要发生在docker-build-and-push-arm64工作流中，导致构建任务失败。

问题分析

通过深入调查发现，问题的根源在于ARM64自托管运行器的磁盘空间不足。具体表现为：

1. 原始配置下，ARM64运行器的根文件系统仅有97GB容量，其中已使用56GB，剩余41GB
2. 在执行Docker构建任务时，系统会生成大量临时文件，包括：
   • Docker构建缓存
   • 中间镜像层
   • 构建上下文文件
3. 与GitHub托管的AMD64运行器相比，ARM64运行器的可用空间明显不足（41GB vs 53GB）

技术细节

Docker构建过程中会占用大量磁盘空间的主要原因包括：

1. 构建缓存：Docker会保留中间构建层以加速后续构建
2. 多阶段构建：Autoware的Dockerfile采用多阶段构建，每个阶段都会产生临时镜像
3. 依赖下载：构建过程中需要下载大量依赖包和基础镜像
4. 编译产物：源代码编译生成的二进制文件和库文件

解决方案

针对这一问题，项目团队采取了以下措施：

1. 扩展磁盘容量：

   • 将ARM64自托管运行器的根文件系统从100GB扩容至200GB
   • 扩容后可用空间达到171GB，完全满足构建需求

2. 定期清理策略：

   • 识别并清理不再使用的Docker卷（发现多个数GB大小的buildx缓存卷）
   • 定期清除运行器工作目录中的旧构建产物
   • 考虑实现自动化清理脚本，在作业前后执行

3. 资源监控：

   • 实施磁盘使用监控机制
   • 设置预警阈值，防止空间再次耗尽

实施效果

扩容后，即使在构建最耗资源的CUDA相关任务时，系统也能顺利完成：

• 构建过程中磁盘使用峰值约为23GB
• 构建完成后仍有171GB可用空间
• 构建成功率显著提高

经验总结

1. 对于资源密集型构建任务，特别是跨架构构建，需要预留充足的磁盘空间
2. 自托管运行器需要定期维护，包括清理缓存和临时文件
3. 监控系统资源使用情况是预防类似问题的关键
4. 针对不同架构的运行器，可能需要不同的资源配置策略

这一问题的解决不仅保障了Autoware项目的持续集成流程稳定性，也为其他类似项目提供了宝贵的实践经验。