开源项目启动与配置教程：dbt-airflow-docker-compose

1. 项目的目录结构及介绍

dbt-airflow-docker-compose 项目采用 Docker Compose 管理多容器部署，以支持 dbt 和 Apache Airflow 的集成。以下是项目的目录结构：

dbt-airflow-docker-compose/
├── airflow/
│   ├── dags/
│   ├── logs/
│   └── plugins/
├── dbt/
│   ├── models/
│   ├── tests/
│   ├── macros/
│   └── data/
├── docker-compose.yml
└── .env

• airflow/: 包含 Airflow 的 DAGs（Directed Acyclic Graphs，有向无环图）、日志和插件。
  • dags/: 存放定义 DAG 的 Python 脚本。
  • logs/: 存储 Airflow 运行日志。
  • plugins/: 存放自定义的 Airflow 插件。
• dbt/: 包含 dbt 的模型、测试、宏和数据文件。
  • models/: 定义 dbt 模型，即 SQL 逻辑。
  • tests/: 包含对 dbt 模型的测试。
  • macros/: 自定义宏和函数。
  • data/: 存储原始数据文件。
• docker-compose.yml: 定义 Docker 服务和容器配置。
• .env: 环境变量配置文件。

2. 项目的启动文件介绍

项目的启动通过 docker-compose.yml 文件来配置和启动服务。以下是 docker-compose.yml 文件的主要内容：

version: '3.8'
services:
  dbt:
    image: dbt postgres:latest
    volumes:
      - ./dbt:/opt/dbt
    environment:
      - DBT项目部环境变量
    depends_on:
      - db
  airflow:
    image: airflow:latest
    volumes:
      - ./airflow/dags:/opt/airflow/dags
      - ./airflow/plugins:/opt/airflow/plugins
      - ./airflow/logs:/opt/airflow/logs
    ports:
      - "8080:8080"
    environment:
      - AIRFLOW项目部环境变量
    depends_on:
      - dbt
  db:
    image: postgres:latest
    volumes:
      - ./db/data:/var/lib/postgresql/data
    environment:
      - POSTGRES项目部环境变量

在此配置文件中，定义了三个服务：dbt、airflow 和 db。每个服务都有自己的配置，如镜像、卷映射、环境变量等。

3. 项目的配置文件介绍

项目的配置主要通过 .env 文件进行，该文件包含了项目运行所需的环境变量。以下是 .env 文件的一个示例：

DBT_PROJECT_DIR=dbt
DBT_PROFILE=your_profile
DBTTarget=your_target

AIRFLOW__CORE__EXECUTOR=LocalExecutor
AIRFLOW__CORE__PARALLELISM=32

POSTGRES_DB=your_db
POSTGRES_USER=your_user
POSTGRES_PASSWORD=your_password
POSTGRES_HOST=db
POSTGRES_PORT=5432

在这个文件中，配置了 dbt 和 Airflow 的相关环境变量，以及 PostgreSQL 数据库的连接信息。这些变量在 docker-compose.yml 文件中通过 environment 键被引用。

启动项目时，首先确保已经配置了 .env 文件中的所有必要变量，然后运行以下命令：

docker-compose up -d

该命令会在后台启动所有服务，项目即可开始运行。