Docker-Airflow 开源项目教程

1. 项目目录结构及介绍

.
├── airflow           # Airflow 的工作目录，包含了dag等文件
│   ├── dag            # 存放DAG文件的地方
│   └── plugins        # 自定义插件存放处
├── docker-compose.yaml  # Docker Compose 文件，用于启动多个服务容器
├── env.sh              # 环境变量配置脚本
├── LICENSE             # 许可证文件
└── README.md           # 项目说明文件

• airflow: 主要的Airflow工作目录，包括DAG文件和可能的自定义插件。
• docker-compose.yaml: 使用Docker Compose配置的服务容器集合，包括Web服务器、Worker、花瓶（Flower）等组件。
• env.sh: 项目环境变量设置，影响容器的运行配置。
• LICENSE: 项目使用的许可证类型。
• README.md: 对项目的基本介绍和快速入门指南。

2. 项目的启动文件介绍

docker-compose.yaml

这个文件是使用Docker Compose来启动整个Airflow环境的核心。它定义了各个服务（如webserver、worker、scheduler等）的配置，包括镜像版本、端口映射、数据卷挂载以及环境变量设置。例如：

services:
  webserver:
    image: puckel/docker-airflow:1.10.9
    environment:
      - LOAD_EXAMPLES=False
    volumes:
      - ./dags:/usr/local/airflow/dags
    ports:
      - "8080:8080"
    command: ["webserver"]

这里的webserver服务使用了puckel/docker-airflow的1.10.9版本镜像，设置了不加载示例DAGs，挂载本地的dags目录到容器中的/usr/local/airflow/dags，暴露8080端口并运行webserver命令。

3. 项目的配置文件介绍

• env.sh: 这个脚本主要用于设定项目运行时的环境变量，可以覆盖Docker Compose文件中定义的部分默认值。例如，你可以在这里设置Airflow的数据库连接字符串、AIRFLOW_HOME路径等。在启动项目之前，通常需要执行此脚本来将这些变量导入当前shell。

export AIRFLOW_HOME=~/airflow
export AIRFLOW_DATABASE_USER=airflow
export AIRFLOW_DATABASE_PASSWORD=airflow
# 更多环境变量...

以上命令将把AIRFLOW_HOME、AIRFLOW_DATABASE_USER和AIRFLOW_DATABASE_PASSWORD等环境变量设置为相应的值。在启动项目前，通过. ./env.sh或source ./env.sh引入这些变量。

要启动整个Airflow环境，只需在项目根目录下运行以下命令：

$ source env.sh
$ docker-compose up

这将会拉取必要的Docker镜像，创建并启动所有指定的服务，包括Web服务器、Worker等，你可以通过访问http://localhost:8080 来查看Airflow Web UI。