Apache Airflow 在 Docker Compose 中的使用指南

1. 项目的目录结构及介绍

项目的目录结构如下：

airflow_in_docker_compose/
├── docker-compose-2.0-with-celery-executor-2-workers.yml
├── docker-compose-2.0-with-celery-executor.yml
├── docker-compose.yml
├── env
│   └── .env
├── README.md
└── scripts
    └── init_db.sh

目录结构介绍

• docker-compose-2.0-with-celery-executor-2-workers.yml: 用于启动带有两个或更多 Celery Worker 的 Docker Compose 配置文件。
• docker-compose-2.0-with-celery-executor.yml: 用于启动带有 Celery Executor 的 Docker Compose 配置文件。
• docker-compose.yml: 基本的 Docker Compose 配置文件。
• env/: 包含环境变量文件的目录。
• README.md: 项目说明文档。
• scripts/: 包含初始化数据库的脚本。

2. 项目的启动文件介绍

Docker Compose 文件

• docker-compose.yml: 基本的 Docker Compose 配置文件，用于启动 Apache Airflow 的基本服务。
• docker-compose-2.0-with-celery-executor.yml: 用于启动带有 Celery Executor 的 Apache Airflow 服务。
• docker-compose-2.0-with-celery-executor-2-workers.yml: 用于启动带有两个或更多 Celery Worker 的 Apache Airflow 服务。

启动命令

docker-compose -f docker-compose-2.0-with-celery-executor.yml up --build

该命令用于启动带有 Celery Executor 的 Apache Airflow 服务，并进行构建。

3. 项目的配置文件介绍

环境变量文件

• env/.env: 包含 Apache Airflow 的环境变量配置。

环境变量介绍

• _AIRFLOW_WWW_USER_USERNAME: 管理员 UI 账户的用户名。如果设置了该值，管理员 UI 用户会自动创建。
• _AIRFLOW_WWW_USER_PASSWORD: 管理员 UI 账户的密码。

配置文件示例

_AIRFLOW_WWW_USER_USERNAME=admin
_AIRFLOW_WWW_USER_PASSWORD=admin

这些环境变量用于配置 Apache Airflow 的管理员账户。

总结

本文档介绍了 Apache Airflow 在 Docker Compose 中的使用指南，包括项目的目录结构、启动文件和配置文件。通过这些配置，用户可以快速启动和配置 Apache Airflow 服务。