首页
/ GoodReads ETL Pipeline 项目教程

GoodReads ETL Pipeline 项目教程

2024-09-22 21:16:03作者:卓炯娓

1. 项目的目录结构及介绍

goodreads_etl_pipeline/
├── SampleData/
├── Utility/
├── airflow/
├── docs/
├── goodreadsfaker/
├── src/
├── .gitignore
├── LICENSE
├── README.md

目录结构介绍

  • SampleData/: 存放示例数据的目录。
  • Utility/: 存放项目中使用的各种实用工具和脚本。
  • airflow/: 存放Apache Airflow相关的配置文件和DAG(有向无环图)文件。
  • docs/: 存放项目的文档文件。
  • goodreadsfaker/: 存放用于生成假数据的模块。
  • src/: 存放项目的主要源代码,包括ETL作业的实现。
  • .gitignore: Git忽略文件,指定哪些文件和目录不需要被版本控制。
  • LICENSE: 项目的开源许可证文件。
  • README.md: 项目的说明文件,包含项目的概述、安装和使用说明。

2. 项目的启动文件介绍

主要启动文件

  • src/etl_job.py: 这是ETL作业的主要启动文件。它包含了从Goodreads API提取数据、转换数据并加载到数据仓库的逻辑。
  • airflow/dags/goodreads_etl_dag.py: 这是Airflow的DAG文件,定义了ETL作业的调度逻辑。

启动步骤

  1. 启动Airflow: 首先需要启动Airflow的Web服务器和调度器。可以通过以下命令启动:

    airflow webserver -p 8080
    airflow scheduler
    
  2. 运行ETL作业: 在Airflow的Web界面中,找到goodreads_etl_dag并触发运行。

3. 项目的配置文件介绍

主要配置文件

  • airflow/airflow.cfg: 这是Airflow的主要配置文件,包含了Airflow的各种配置选项,如数据库连接、调度器配置等。
  • src/config.py: 这是ETL作业的配置文件,包含了与AWS S3、Redshift等服务的连接信息。

配置文件内容示例

airflow/airflow.cfg

[core]
# 数据库连接
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost:5432/airflow

# 调度器配置
parallelism = 32
dag_concurrency = 16

src/config.py

# AWS S3配置
S3_BUCKET = 'goodreads-data-lake'
S3_LANDING_PREFIX = 'landing/'

# Redshift配置
REDSHIFT_HOST = 'redshift-cluster-1.abcdefg.us-west-2.redshift.amazonaws.com'
REDSHIFT_PORT = '5439'
REDSHIFT_DB = 'dev'
REDSHIFT_USER = 'admin'
REDSHIFT_PASSWORD = 'yourpassword'

通过以上配置文件,可以灵活地调整项目的运行环境和参数,以适应不同的部署需求。

登录后查看全文
热门项目推荐