在AWS EKS上使用Sysbox运行Docker-in-Docker容器的实践指南

Sysbox是一个开源的容器运行时工具，它能够增强容器的隔离性并支持在容器内部运行特权操作。本文将详细介绍如何在AWS EKS集群中部署Sysbox，并成功运行Docker-in-Docker容器。

环境准备

首先需要创建一个AWS EKS 1.29集群，使用terraform-aws-modules/eks/aws模块进行部署。关键配置包括：

• 集群版本：1.29
• 节点组使用t3.xlarge实例类型
• 节点操作系统为Ubuntu 22.04 LTS
• 存储配置为100GB gp3卷

Sysbox安装

在EKS集群上安装Sysbox时，需要确保sysbox-deploy-k8s pod正常运行。通过检查pod状态可以确认安装是否成功：

kubectl get pods -n kube-system sysbox-deploy-k8s-xxxxx -o json | jq .status

正常运行的Sysbox pod应显示所有条件均为"True"，容器状态为"Running"。

运行Docker-in-Docker容器

要在Sysbox上运行Docker-in-Docker容器，需要特别注意pod的配置。一个常见的错误是直接使用如下配置：

apiVersion: v1
kind: Pod
metadata:
  name: dind
spec:
  runtimeClassName: sysbox-runc
  containers:
  - name: dind
    image: docker:dind

这种配置会导致容器创建失败，错误信息显示为"failed to mount /var/lib/containers/storage/overlay/.../merged: invalid argument"。

关键配置项

正确的配置需要在pod的metadata部分添加关键的用户命名空间注解：

apiVersion: v1
kind: Pod
metadata:
  name: dind
  annotations:
    io.kubernetes.cri-o.userns-mode: "auto:size=65536"
spec:
  runtimeClassName: sysbox-runc
  containers:
  - name: dind
    image: docker:dind

这个注解io.kubernetes.cri-o.userns-mode: "auto:size=65536"是必须的，它告诉CRI-O运行时自动为用户命名空间分配65536个UID/GID。Sysbox依赖用户命名空间来提供容器隔离，缺少这个配置会导致挂载失败。

原理分析

Sysbox通过用户命名空间(user namespace)技术实现了容器内的特权操作支持。当配置了正确的用户命名空间后：

1. 容器内的root用户会被映射到主机上的非特权用户
2. 容器可以安全地执行需要特权的操作
3. 文件系统挂载操作能够正常工作

在AWS EKS环境中，使用CRI-O作为容器运行时，必须明确指定用户命名空间的配置，这是与本地Docker环境不同的地方。

最佳实践

1. 始终检查sysbox-deploy-k8s pod的状态，确保Sysbox运行时已正确安装
2. 为需要使用Sysbox的pod添加用户命名空间注解
3. 监控pod事件日志，及时发现挂载或权限相关问题
4. 考虑在节点选择器中使用sysbox-runtime=running标签，确保pod调度到已安装Sysbox的节点

通过以上配置，Sysbox能够在AWS EKS环境中完美支持Docker-in-Docker等需要特权操作的容器场景，为CI/CD等用例提供了安全可靠的运行环境。