dbt-duckdb 项目安装与配置指南

1. 项目基础介绍和主要编程语言

dbt-duckdb 是一个开源项目，旨在将 dbt（数据构建工具）与 DuckDB 数据库集成。DuckDB 是一个嵌入式数据库，类似于 SQLite，但专为 OLAP 风格的分析设计，速度极快，允许直接读写存储在 CSV、JSON 和 Parquet 文件中的数据，而无需先将它们加载到数据库中。dbt 是管理和编写用于分析和数据科学的 SQL 或 Python 数据转换的最佳工具。

该项目主要使用 Python 编程语言进行开发和维护。

2. 项目使用的关键技术和框架

• dbt (数据构建工具): 用于管理和编写数据转换的工具。
• DuckDB: 一个嵌入式数据库，专为 OLAP 风格的分析设计。
• Python: 主要编程语言，用于编写和运行数据转换脚本。
• AWS Glue Catalog: 可选功能，用于持久化 DuckDB 创建的表。
• fsspec: 用于支持多种云存储系统的文件系统接口。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 已安装 Python 3.x。
• 已安装 pip（Python 包管理工具）。
• 已安装 Git（用于克隆项目仓库）。

详细安装步骤

步骤 1：克隆项目仓库

首先，使用 Git 克隆 dbt-duckdb 项目仓库到本地：

git clone https://github.com/duckdb/dbt-duckdb.git

步骤 2：进入项目目录

进入克隆下来的项目目录：

cd dbt-duckdb

步骤 3：安装项目依赖

使用 pip 安装项目所需的依赖：

pip3 install dbt-duckdb

步骤 4：配置 dbt 项目

在您的 dbt 项目目录中，创建或编辑 profiles.yml 文件，配置 dbt-duckdb 的连接信息。以下是一个简单的配置示例：

default:
  outputs:
    dev:
      type: duckdb
      path: /tmp/dbt.duckdb  # 指定 DuckDB 文件的路径
      target: dev

步骤 5：运行 dbt 项目

配置完成后，您可以运行 dbt 项目来测试连接和数据转换：

dbt run

高级配置选项

使用 MotherDuck

如果您想连接到 MotherDuck 上的 DuckDB 实例，可以在 profiles.yml 中设置 path 为 md: 连接字符串：

default:
  outputs:
    dev:
      type: duckdb
      path: md:  # 连接到 MotherDuck
      target: dev

配置 DuckDB 扩展和设置

您可以在 profiles.yml 中配置 DuckDB 扩展和设置：

default:
  outputs:
    dev:
      type: duckdb
      path: /tmp/dbt.duckdb
      extensions:
        - httpfs
        - parquet
      settings:
        memory_limit: '1GB'
      target: dev

使用 fsspec 文件系统

如果您想使用 fsspec 支持的文件系统，可以安装相关模块并在 profiles.yml 中配置：

default:
  outputs:
    dev:
      type: duckdb
      path: /tmp/dbt.duckdb
      filesystems:
        - fs: s3
          anon: false
          key: "[[ env_var('S3_ACCESS_KEY_ID') ]]"
          secret: "[[ env_var('S3_SECRET_ACCESS_KEY') ]]"
          client_kwargs:
            endpoint_url: "http://localhost:4566"
      target: dev

通过以上步骤，您应该能够成功安装和配置 dbt-duckdb 项目，并开始使用它进行数据转换和分析。