GitHub Actions Runner 长任务执行异常终止问题分析与解决

问题现象

在使用GitHub Actions Runner执行长时间运行任务（如Android构建或Playwright测试）时，任务会在运行15-20分钟后异常终止，错误日志中显示"Re-evaluate condition on job cancellation for step"信息，并抛出OperationCanceledException异常。

错误表现

典型错误日志如下：

##[debug]Re-evaluate condition on job cancellation for step: 'Build Android'.
Error: The operation was canceled.
##[debug]System.OperationCanceledException: The operation was canceled.
##[debug]   at System.Threading.CancellationToken.ThrowOperationCanceledException()
##[debug]   at GitHub.Runner.Sdk.ProcessInvoker.ExecuteAsync(...)

根本原因分析

经过深入调查，发现该问题主要由以下因素导致：

1. 资源不足：特别是磁盘空间不足，当任务运行时间较长且产生大量中间文件时，会导致系统资源耗尽。

2. Karpenter配置问题：在使用Karpenter自动扩展节点时，默认配置可能只提供有限的临时存储空间（如15GB），无法满足长时间运行任务的需求。

3. Runner版本问题：早期版本的Runner在处理长时间任务时可能存在稳定性问题。

解决方案

1. 资源优化配置

对于Kubernetes环境中的Runner Pod，需要确保分配足够的资源：

resources:
  requests:
    cpu: "4"
    memory: "16Gi"
  limits:
    ephemeral-storage: "100Gi"

2. Karpenter调整

如果使用Karpenter管理节点，需要调整配置以提供更大的临时存储空间：

spec:
  requirements:
    - key: "node.kubernetes.io/instance-type"
      operator: In
      values: ["m5.2xlarge"]  # 选择具有更大存储的实例类型
  limits:
    resources:
      ephemeral-storage: 200Gi

3. Runner版本升级

确保使用最新稳定版本的Runner和相关组件：

• Runner版本：建议使用2.312.0或更高版本
• Runner容器钩子版本：0.5.1或更高

4. 监控与诊断

实施以下监控措施可帮助提前发现问题：

• 设置Pod的资源使用监控，特别是磁盘空间
• 配置告警当资源使用接近阈值时
• 定期检查Runner日志中的警告信息

最佳实践建议

1. 资源预估：根据任务类型预估所需资源，特别是对于构建类任务，应预留足够的磁盘空间。

2. 隔离长任务：将长时间运行的任务隔离到专用Runner上，避免影响其他短任务。

3. 定期维护：清理工作空间，避免累积的临时文件占用过多空间。

4. 渐进式扩容：对于不确定资源需求的任务，采用渐进式扩容策略。

总结

GitHub Actions Runner长任务异常终止问题通常与资源限制密切相关。通过合理配置资源配额、升级到稳定版本Runner组件，并实施有效的监控策略，可以显著提高长时间运行任务的稳定性。对于Kubernetes环境中的Runner，特别需要注意存储资源的配置，避免因临时存储不足导致的任务中断。