RA Data Warehouse dbt 项目使用教程

1. 项目的目录结构及介绍

RA Data Warehouse dbt 项目的目录结构如下：

ra_data_warehouse/
├── README.md
├── dbt_project.yml
├── models/
│   ├── core/
│   ├── finance/
│   ├── marketing/
│   └── ...
├── snapshots/
├── tests/
├── analyses/
├── macros/
├── seeds/
├── packages.yml
└── ...

目录结构介绍

• README.md: 项目说明文件，包含项目的基本信息和使用指南。
• dbt_project.yml: 项目的主配置文件，定义项目的基本配置和模型路径。
• models/: 包含所有的数据模型文件，按照不同的主题（如 core, finance, marketing 等）进行组织。
• snapshots/: 用于存储快照文件，记录数据在特定时间点的状态。
• tests/: 包含测试文件，用于验证数据模型的正确性。
• analyses/: 用于存储分析文件，进行数据分析和探索。
• macros/: 包含自定义的宏文件，用于在模型中复用代码。
• seeds/: 用于存储静态数据文件，如 CSV 文件。
• packages.yml: 定义项目依赖的其他 dbt 包。

2. 项目的启动文件介绍

项目的启动文件主要是 dbt_project.yml，它是 dbt 项目的主配置文件，包含以下关键配置：

name: 'ra_data_warehouse'
version: '1.0.0'
config-version: 2

profile: 'ra_data_warehouse'

source-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
snapshot-paths: ["snapshots"]

macro-paths: ["macros"]
seed-paths: ["seeds"]

target-path: "target"
clean-targets:
    - "target"
    - "dbt_modules"
    - "logs"

models:
  ra_data_warehouse:
    core:
      +materialized: view
    finance:
      +materialized: table
    marketing:
      +materialized: incremental

启动文件介绍

• name: 项目的名称。
• version: 项目的版本号。
• profile: 定义使用的 dbt 配置文件。
• source-paths: 定义模型文件的路径。
• analysis-paths: 定义分析文件的路径。
• test-paths: 定义测试文件的路径。
• snapshot-paths: 定义快照文件的路径。
• macro-paths: 定义宏文件的路径。
• seed-paths: 定义静态数据文件的路径。
• target-path: 定义生成的目标文件路径。
• clean-targets: 定义清理目标文件的路径。
• models: 定义不同主题模型的配置，如 core, finance, marketing 等。

3. 项目的配置文件介绍

项目的配置文件主要是 dbt_project.yml 和 profiles.yml。

dbt_project.yml

如上所述，dbt_project.yml 是项目的主配置文件，定义了项目的基本配置和模型路径。

profiles.yml

profiles.yml 是 dbt 的配置文件，定义了连接数据仓库的配置信息，如数据库类型、用户名、密码、主机地址等。通常位于用户主目录下的 .dbt 文件夹中。

ra_data_warehouse:
  target: dev
  outputs:
    dev:
      type: bigquery
      method: service-account
      project: 'your-project-id'
      dataset: 'your-dataset'
      threads: 4
      keyfile: '/path/to/your/keyfile.json'

配置文件介绍

• target: 定义默认的目标环境，如 dev, prod 等。
• outputs: 定义不同环境的输出配置，如 dev 环境的配置。
• type: 定义数据仓库的类型，如 bigquery, snowflake 等。
• method: 定义连接方法，如 `service-account