Apache Airflow 自定义Docker镜像构建指南

概述

Apache Airflow作为一款强大的工作流编排工具，其官方提供的Docker镜像已经包含了大部分常用功能。但在实际生产环境中，我们通常需要根据业务需求对镜像进行定制化构建。本文将详细介绍如何基于Apache Airflow官方镜像构建符合自身需求的定制化Docker镜像。

为什么需要自定义镜像

官方提供的Airflow镜像虽然功能全面，但在实际应用中可能会遇到以下需求：

1. 需要安装额外的系统级依赖（通过apt）
2. 需要添加额外的Python包（通过pip）
3. 需要预置特定的DAG文件
4. 需要修改默认的Airflow配置
5. 需要集成特定的Provider

直接在运行时安装这些依赖不仅效率低下，还会增加系统的不稳定性。因此，构建自定义镜像是最佳实践。

快速入门场景

添加apt包

以下示例展示了如何在镜像中添加vim编辑器：

FROM apache/airflow:2.6.0
USER root
RUN apt-get update && \
    apt-get install -y --no-install-recommends vim && \
    apt-get autoremove -yqq --purge && \
    apt-get clean && \
    rm -rf /var/lib/apt/lists/*
USER airflow

关键点：

• 安装系统包需要使用root用户
• 安装完成后需切换回airflow用户
• 清理缓存以减小镜像体积

添加PyPI包

添加单个Python包的示例：

FROM apache/airflow:2.6.0
USER airflow
RUN pip install --no-cache-dir apache-airflow==2.6.0 lxml

注意事项：

• 必须使用airflow用户安装Python包
• 建议显式指定Airflow版本以避免依赖冲突
• 使用--no-cache-dir减少镜像体积

通过requirements.txt添加包

对于多个Python包，推荐使用requirements.txt：

FROM apache/airflow:2.6.0
USER airflow
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

requirements.txt示例内容：

apache-airflow==2.6.0
pandas==1.5.3
numpy==1.24.2

预置DAG文件

将DAG文件直接打包到镜像中：

FROM apache/airflow:2.6.0
USER airflow
COPY test_dag.py /opt/airflow/dags/

示例DAG文件(test_dag.py):

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy import DummyOperator

with DAG(
    dag_id="test_dag",
    start_date=datetime(2021, 1, 1),
    schedule_interval="@daily",
    catchup=False,
) as dag:
    task = DummyOperator(task_id="task")

配置环境变量

通过环境变量配置Airflow：

FROM apache/airflow:2.6.0
USER airflow
ENV AIRFLOW__CORE__LOAD_EXAMPLES=False
ENV AIRFLOW__WEBSERVER__EXPOSE_CONFIG=True

扩展与自定义镜像的选择

特性	扩展镜像	自定义镜像
使用FROM构建	✓	✗
入门简单	✓	✗
构建速度快	✓	✗
镜像体积优化	✗	✓
支持自定义源码构建	✗	✓
支持离线环境构建	✗	✓

建议：对于简单需求使用扩展方式，对于复杂需求或生产环境建议使用自定义方式。

基础镜像选择

Airflow提供两种基础镜像：

1. 标准镜像：包含常用extras和providers
2. 精简镜像：仅包含核心功能，体积更小

镜像命名规则：

• 标准镜像：apache/airflow:<版本>
• 精简镜像：apache/airflow:<版本>-slim

构建流程

1. 创建Dockerfile
2. 构建镜像：docker build -t my-airflow:1.0 .
3. (可选)测试镜像
4. 部署镜像：
   • 直接使用本地镜像
   • 推送到镜像仓库
   • 使用docker-compose构建

最佳实践

1. 保持Airflow版本一致
2. 定期更新基础镜像
3. 清理不必要的缓存
4. 使用多阶段构建优化镜像体积
5. 为生产环境添加健康检查

通过本文介绍的方法，您可以轻松构建符合业务需求的Airflow镜像，为工作流管理提供稳定可靠的基础环境。