GoodReads ETL Pipeline 项目教程

1. 项目的目录结构及介绍

goodreads_etl_pipeline/
├── SampleData/
├── Utility/
├── airflow/
├── docs/
├── goodreadsfaker/
├── src/
├── .gitignore
├── LICENSE
├── README.md

目录结构介绍

• SampleData/: 存放示例数据的目录。
• Utility/: 存放项目中使用的各种实用工具和脚本。
• airflow/: 存放Apache Airflow相关的配置文件和DAG（有向无环图）文件。
• docs/: 存放项目的文档文件。
• goodreadsfaker/: 存放用于生成假数据的模块。
• src/: 存放项目的主要源代码，包括ETL作业的实现。
• .gitignore: Git忽略文件，指定哪些文件和目录不需要被版本控制。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的说明文件，包含项目的概述、安装和使用说明。

2. 项目的启动文件介绍

主要启动文件

• src/etl_job.py: 这是ETL作业的主要启动文件。它包含了从Goodreads API提取数据、转换数据并加载到数据仓库的逻辑。
• airflow/dags/goodreads_etl_dag.py: 这是Airflow的DAG文件，定义了ETL作业的调度逻辑。

启动步骤

1. 启动Airflow: 首先需要启动Airflow的Web服务器和调度器。可以通过以下命令启动：

   airflow webserver -p 8080
   airflow scheduler
   

2. 运行ETL作业: 在Airflow的Web界面中，找到goodreads_etl_dag并触发运行。

3. 项目的配置文件介绍

主要配置文件

• airflow/airflow.cfg: 这是Airflow的主要配置文件，包含了Airflow的各种配置选项，如数据库连接、调度器配置等。
• src/config.py: 这是ETL作业的配置文件，包含了与AWS S3、Redshift等服务的连接信息。

配置文件内容示例

airflow/airflow.cfg

[core]
# 数据库连接
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost:5432/airflow

# 调度器配置
parallelism = 32
dag_concurrency = 16

src/config.py

# AWS S3配置
S3_BUCKET = 'goodreads-data-lake'
S3_LANDING_PREFIX = 'landing/'

# Redshift配置
REDSHIFT_HOST = 'redshift-cluster-1.abcdefg.us-west-2.redshift.amazonaws.com'
REDSHIFT_PORT = '5439'
REDSHIFT_DB = 'dev'
REDSHIFT_USER = 'admin'
REDSHIFT_PASSWORD = 'yourpassword'

通过以上配置文件，可以灵活地调整项目的运行环境和参数，以适应不同的部署需求。