Argo Workflows 实战:利用 Sidecar 容器实现 Docker-in-Docker(DIND)构建镜像

原创2026-09-21 17:37:182,208 阅读
文章标签:工作流自动化云原生容器编排任务调度DevOps后端前端微服务机器学习

Argo Workflows 实战:利用 Sidecar 容器实现 Docker-in-Docker(DIND)构建镜像

本篇技术指南聚焦 Argo Workflows 中一个非常实用的容器编排模式:通过 sidecar 容器运行 Docker daemon,在主容器内直接执行 docker build、docker run、docker push 等命令,即 Docker-in-Docker(DIND)。文章将以 docker-in-docker-using-sidecars.md 为核心骨架,结合仓库源码与测试,讲解完整可运行的 Workflow 配置、每个关键字段的作用原理,以及镜像构建场景下的替代方案与安全注意事项。读完本文,你将掌握如何在 Argo Workflows 中以 sidecar 方式启动 Docker daemon,并让主容器共享该 daemon 完成容器镜像的构建与推送。

为什么需要 Docker-in-Docker

Argo Workflows 是 Kubernetes 上的工作流引擎,其 Pod 中的容器天然共享同一个 Pod 网络命名空间。借助这一特性,我们可以在工作流的同一 Pod 内部署两个容器:

  • 主容器(main container):执行工作流的主体逻辑,例如拉取代码、调用 docker 客户端命令;
  • sidecar 容器:与主容器并发运行,承担辅助职责,这里它运行的是 Docker daemon。

由于主容器与 sidecar 同处一个 Pod,主容器可以通过 127.0.0.1 上的标准 Docker API 端口访问 sidecar 中运行的 daemon,从而在容器内部执行 docker build、docker run、docker push 等命令——这正是 Docker-in-Docker(DIND)的核心思路。

原文档同时给出了一个重要提醒:构建容器镜像的替代方案还有很多,例如 Kaniko 或 Buildkit,它们往往更简单、更安全(无需 privileged 容器)。仓库中的 buildkit-template.yaml 就是 Buildkit 方案的完整示例,适合对安全要求更高的场景。DIND 方案的价值在于:它让工作流中的容器"看起来就是一台完整的 Docker 主机",对习惯了 Docker CLI 的用户迁移成本最低。

Sidecar 基础:多容器 Pod 的协作模式

在深入 DIND 之前,先理解 Argo Workflows 中 sidecar 的基本形态。sidecars.md 给出了一个简洁示例:主容器是 appropriate/curl,sidecar 是 nginx Web 服务器:

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: sidecar-nginx-
spec:
  entrypoint: sidecar-nginx-example
  templates:
  - name: sidecar-nginx-example
    container:
      image: appropriate/curl
      command: [sh, -c]
      # Try to read from nginx web server until it comes up
      args: ["until `curl -G 'http://127.0.0.1/' >& /tmp/out`; do echo sleep && sleep 1; done && cat /tmp/out"]
    # Create a simple nginx web server
    sidecars:
    - name: nginx
      image: nginx:1.13
      command: [nginx, -g, daemon off;]

该示例揭示了一个关键设计原则:容器启动顺序是随机的,sidecar 不会保证先于主容器就绪。因此主容器必须采用**轮询等待(polling)**模式,直到依赖的服务可用后再继续执行主逻辑。这个模式在 DIND 场景中同样至关重要——daemon 启动需要数秒,主容器必须等待 docker ps 成功响应后才能发起构建。

从源码结构看,sidecar 在 Argo Workflows 的类型系统中属于 UserContainer,定义于 pkg/apis/workflow/v1alpha1/workflow_types.go:

type UserContainer struct {
	apiv1.Container `json:",inline" protobuf:"bytes,1,opt,name=container"`

	// MirrorVolumeMounts will mount the same volumes specified in the main container
	// to the container (including artifacts), at the same mountPaths. This enables
	// dind daemon to partially see the same filesystem as the main container in
	// order to use features such as docker volume binding
	MirrorVolumeMounts *bool `json:"mirrorVolumeMounts,omitempty" protobuf:"varint,2,opt,name=mirrorVolumeMounts"`
}

它内嵌标准 Kubernetes Container 结构,额外增加了 mirrorVolumeMounts 字段。模板中的 sidecars 列表字段声明于同一文件(workflow_types.go),注释明确指出:"Sidecars is a list of containers which run alongside the main container. Sidecars are automatically killed when the main container completes."——也就是说,主容器结束后 sidecar 会被自动清理,无需手动回收。

DIND 完整示例:主容器 + docker:dind Sidecar

以下即原文档的核心示例,也对应仓库中的 examples/sidecar-dind.yaml(该文件保留了逐行注释,并带有 workflows.argoproj.io/no-test: "environment" 标签以表明其依赖 Docker daemon 环境):

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: sidecar-dind-
spec:
  entrypoint: dind-sidecar-example
  templates:
  - name: dind-sidecar-example
    container:
      image: docker:19.03.13
      command: [sh, -c]
      args: ["until docker ps; do sleep 3; done; docker run --rm debian:latest cat /etc/os-release"]
      env:
      - name: DOCKER_HOST               # the docker daemon can be access on the standard port on localhost
        value: 127.0.0.1
    sidecars:
    - name: dind
      image: docker:19.03.13-dind          # Docker already provides an image for running a Docker daemon
      command: [dockerd-entrypoint.sh]
      env:
        - name: DOCKER_TLS_CERTDIR         # Docker TLS env config
          value: ""
      securityContext:
        privileged: true                # the Docker daemon can only run in a privileged container
      # mirrorVolumeMounts will mount the same volumes specified in the main container
      # to the sidecar (including artifacts), at the same mountPaths. This enables
      # dind daemon to (partially) see the same filesystem as the main container in
      # order to use features such as docker volume binding.
      mirrorVolumeMounts: true

该 Workflow 的实际效果是:主容器等待 daemon 就绪后,在容器内执行 docker run --rm debian:latest cat /etc/os-release,输出 Debian 系统的版本信息——验证了"容器内跑 Docker 命令"的能力。将示例中的 docker run 替换为 docker build 与 docker push,即可构成完整的镜像构建推送流水线。

关键字段逐项拆解

DOCKER_HOST:主容器如何找到 daemon

env:
- name: DOCKER_HOST
  value: 127.0.0.1

docker CLI 通过 DOCKER_HOST 环境变量决定连接哪个 daemon。由于 sidecar 与主容器共享 Pod 网络命名空间,主容器可以通过 127.0.0.1 访问到 sidecar 内 daemon 监听的标准端口(默认 2375)。若不设置该变量,CLI 会尝试连接默认的 Unix socket /var/run/docker.sock,而 DIND 模式下该 socket 不存在,命令必然失败。

DOCKER_TLS_CERTDIR:禁用 TLS 简化连接

env:
- name: DOCKER_TLS_CERTDIR
  value: ""

官方 docker:dind 镜像的入口脚本 dockerd-entrypoint.sh 默认会生成 TLS 证书并启用加密连接。将 DOCKER_TLS_CERTDIR 设为空字符串可关闭 TLS 生成逻辑,使 daemon 直接以明文 HTTP 暴露在 2375 端口,与上面 DOCKER_HOST=127.0.0.1 的配置配合使用。由于流量只存在于同一 Pod 内部,该简化是安全的;如需 TLS,则要额外处理证书挂载与 DOCKER_TLS_VERIFY 配置,复杂度明显上升。

privileged: true:DIND 的硬性前提

securityContext:
  privileged: true

运行 Docker daemon 需要操作内核能力(创建网络命名空间、挂载文件系统、管理 cgroups 等),只有 privileged(特权)容器才能满足这些要求,这也是原文档明确指出的约束。代价是安全隔离性下降——privileged 容器对宿主机的可见性远超普通容器。若集群启用了 Pod Security Admission 等安全策略,该 Workflow 需要被显式放行(例如使用 privileged 级别的策略或对应豁免)。这也是文档建议优先考虑 Kaniko / Buildkit 的主要原因。

mirrorVolumeMounts: true:共享文件系统

mirrorVolumeMounts: true

DIND 的一个经典痛点是:主容器内构建时挂载的卷(如源码目录),daemon 进程本身看不到,导致 docker run -v 这类卷绑定失败。mirrorVolumeMounts: true 正是为此设计的:控制器会把主容器声明的所有卷挂载(包括 artifacts 挂载)以相同的 mountPath 原样镜像到 sidecar,使 daemon 能"部分"看到与主容器一致的文件系统,从而支持 docker 卷绑定等特性。

字段的官方定义见 docs/fields.md:"MirrorVolumeMounts will mount the same volumes specified in the main container to the container (including artifacts), at the same mountPaths. This enables dind daemon to partially see the same filesystem as the main container in order to use features such as docker volume binding"——与源码注释完全一致。

源码层面:控制器如何装配 Sidecar 与镜像卷

Sidecar 的装配逻辑集中在 workflow/controller/workflowpod.go 的 addSidecars 方法(workflowpod.go):

// addSidecars adds all sidecars to the pod spec of the step.
// Optionally volume mounts from the main container to the sidecar
func (pb *podBuilder) addSidecars(ctx context.Context, pod *apiv1.Pod, tmpl *wfv1.Template, config *config.Config) error {
	mainCtr := findMainContainer(pod)
	for _, sidecar := range tmpl.Sidecars {
		logging.RequireLoggerFromContext(ctx).WithField("name", sidecar.Name).Debug(ctx, "Adding sidecar container")
		if mainCtr != nil && sidecar.MirrorVolumeMounts != nil && *sidecar.MirrorVolumeMounts {
			mirrorVolumeMounts(ctx, mainCtr, &sidecar.Container)
		}
		pod.Spec.Containers = append(pod.Spec.Containers, sidecar.Container)
	}
	return pb.layout.wireArtifactPlugins(ctx, pb, pod, tmpl, config)
}

可以看到:控制器在构建 Pod 时,先定位主容器,然后遍历模板的 Sidecars 列表;当 mirrorVolumeMounts 为 true 时调用 mirrorVolumeMounts 把主容器的卷挂载复制到 sidecar,最后把 sidecar 追加进 pod.Spec.Containers。卷镜像的具体实现位于同一文件的 mirrorVolumeMounts 函数(workflowpod.go),逻辑很直白:遍历源容器的 VolumeMounts,原样 append 到目标容器:

func mirrorVolumeMounts(ctx context.Context, sourceContainer, targetContainer *apiv1.Container) {
	for _, volMnt := range sourceContainer.VolumeMounts {
		if targetContainer.VolumeMounts == nil {
			targetContainer.VolumeMounts = make([]apiv1.VolumeMount, 0)
		}
		logging.RequireLoggerFromContext(ctx).WithFields(logging.Fields{"name": volMnt.Name, "containerName": targetContainer.Name}).Debug(ctx, "Adding volume mount")
		targetContainer.VolumeMounts = append(targetContainer.VolumeMounts, volMnt)
	}
}

该行为有单元测试保障:TestSidecars(workflow/controller/workflowpod_test.go)构造了带 mirrorVolumeMounts: true 的 sidecar,执行模板后断言生成的 Pod 包含 wait、main、side-foo 三个容器,且 sidecar 的 VolumeMounts 同时包含自身声明的卷与主容器镜像过来的卷(sidecar-volume-name 与 volume-name)。同文件中的 init-container 测试(workflowpod_test.go)验证了 mirrorVolumeMounts 对 init 容器同样生效。

此外,测试基建 test/e2e/fixtures/given.go 将 docker:19.03.13 与 docker:19.03.13-dind 列为 e2e 测试认可的基础镜像,印证了该示例的可运行性。

从等待到执行:工作流的时间线

把上述字段串起来,DIND 工作流在一个 Pod 内的运行时间线是:

  1. Kubernetes 创建 Pod,依次启动 wait(Argo 的等待容器)、main(docker CLI 容器)与 dind(docker daemon 容器);
  2. dockerd-entrypoint.sh 在 dind 容器内启动 daemon,通常需要数秒完成初始化;
  3. 主容器执行 until docker ps; do sleep 3; done 轮询 daemon 健康状态;
  4. daemon 就绪后,主容器依次执行 docker build / docker run / docker push 等实际任务;
  5. 主容器命令结束,Pod 进入完成态,sidecar 被自动终止(依据 workflow_types.go 中 "Sidecars are automatically killed when the main container completes" 的语义)。

第 3 步的轮询等待是整个模式的成败关键——因为 sidecar 与主容器并发启动、顺序随机,跳过等待直接执行 Docker 命令会大概率遇到 "Cannot connect to the Docker daemon" 错误。

提交与验证

使用 Argo CLI 提交该工作流即可观察完整过程(示例文件为 examples/sidecar-dind.yaml):

argo submit examples/sidecar-dind.yaml
argo logs @latest

日志中应能看到 docker ps 轮询成功的迹象以及 docker run --rm debian:latest cat /etc/os-release 输出的 Debian 版本信息(如 PRETTY_NAME="Debian GNU/Linux 10 (buster)" 或相近内容)。将主容器 args 替换为真实构建脚本,例如:

args: ["until docker ps; do sleep 3; done; docker build -t myregistry.example.com/app:$CI_COMMIT_SHA . && docker push myregistry.example.com/app:$CI_COMMIT_SHA"]

再配合输入 artifact 挂载源码、mirrorVolumeMounts: true 共享挂载,即可形成一套完整的 CI 镜像构建流水线。

注意事项与最佳实践

  • 安全第一:DIND 依赖 privileged: true,隔离性较弱。生产环境建议优先评估 Kaniko / Buildkit(参见 buildkit-template.yaml);若必须使用 DIND,应通过 namespace 级别的安全策略管控,仅对可信工作负载放行。
  • 耐心等待 daemon:始终在任务前加入 until docker ps; do sleep 3; done 之类的就绪探测,不要假设 sidecar 已就绪。
  • 镜像 tag 一致性:主容器的 docker:19.03.13 与 sidecar 的 docker:19.03.13-dind 保持同版本,避免 CLI 与 daemon 协议不兼容。
  • 卷共享按需开启:mirrorVolumeMounts: true 会把主容器的全部挂载镜像给 daemon,仅当需要 docker 卷绑定等特性时才开启,以减小 sidecar 的可见范围与启动开销。
  • 内核限制:DIND 在部分受限的容器运行时(如某些托管 Kubernetes 的沙箱运行时)下可能无法正常工作,需提前在目标集群验证。

延伸阅读

登录后查看全文
argo-workflows