SkyPilot项目在AWS无默认VPC环境下的集群部署问题解析

背景介绍

在使用SkyPilot（版本0.7.0）进行AWS云资源管理时，用户遇到了一个典型的基础设施配置问题：当AWS区域中不存在默认VPC时，SkyPilot无法成功启动计算集群。本文将深入分析这一问题的技术原因，并提供完整的解决方案。

问题现象

用户在AWS eu-south-1区域执行了以下操作：

1. 删除了默认VPC
2. 创建了新的非默认VPC和子网
3. 创建并附加了互联网网关(IGW)
4. 尝试使用sky launch -c test --region eu-south-1 --cpus=2命令启动集群

此时系统报错："No usable subnets found"，提示找不到可用的子网。而当用户重新创建默认VPC后，问题消失。

技术分析

根本原因

问题并非直接源于缺少默认VPC，而是由于新创建的VPC缺少正确的路由配置。具体表现为：

1. 路由表缺失：新建的VPC虽然附加了互联网网关，但未在路由表中添加指向该网关的默认路由（0.0.0.0/0）
2. 子网关联问题：新建的子网未与包含正确路由条目的路由表关联

SkyPilot的工作机制

SkyPilot在AWS环境中启动实例时，会执行以下检查：

1. 寻找可用的子网
2. 验证子网是否配置了正确的路由（特别是能够访问互联网的路由）
3. 检查子网是否配置了自动分配公网IP

当这些条件不满足时，SkyPilot会认为子网"不可用"，从而抛出错误。

解决方案

完整配置步骤

1. 创建VPC：

   • 在AWS控制台创建新的VPC
   • 指定合适的CIDR范围（如10.0.0.0/16）

2. 创建子网：

   • 在新VPC中创建子网
   • 确保子网位于目标可用区（如eu-south-1a）

3. 配置互联网网关：

   # 创建互联网网关
   aws ec2 create-internet-gateway
   # 附加到VPC
   aws ec2 attach-internet-gateway --internet-gateway-id igw-123abc --vpc-id vpc-456def
   

4. 配置路由表（关键步骤）：

   # 获取VPC的主路由表ID
   aws ec2 describe-route-tables --filters "Name=vpc-id,Values=vpc-456def"
   
   # 添加默认路由
   aws ec2 create-route --route-table-id rtb-789ghi \
       --destination-cidr-block 0.0.0.0/0 \
       --gateway-id igw-123abc
   

5. 配置子网自动分配公网IP：

   aws ec2 modify-subnet-attribute \
       --subnet-id subnet-012jkl \
       --map-public-ip-on-launch
   

验证配置

完成上述配置后，可以通过以下方式验证：

1. 手动启动一个EC2实例，确认能够通过公网访问
2. 检查实例是否获得了公网IP
3. 确认实例能够访问互联网

最佳实践建议

1. 基础设施即代码：建议使用Terraform或AWS CloudFormation管理网络配置，确保可重复性
2. 多区域部署：在不同区域部署时，注意检查默认VPC是否存在
3. 权限管理：确保执行SkyPilot命令的IAM角色具有足够的VPC配置权限
4. 日志分析：遇到问题时，详细查看SkyPilot的debug日志（添加-d参数）

总结

SkyPilot在AWS环境中的正常运行依赖于正确的网络配置。当使用非默认VPC时，必须确保完整的网络连通性配置，特别是路由表和互联网网关的正确关联。通过理解AWS网络组件的工作原理和SkyPilot的检查机制，可以有效避免此类部署问题。