Transfermarkt 数据集项目教程

项目介绍

Transfermarkt 数据集项目旨在从 Transfermarkt 网站获取数据，构建一个干净、公开的足球（足球）数据集，并自动化这一过程以保持数据集的最新状态，并使其在知名数据目录中公开可用。该项目通过使用 Transfermarkt 爬虫工具来获取数据，并使用 SQL 和 dbt 工具进行数据准备。

项目快速启动

环境准备

确保你已经安装了以下工具：

• Python
• dbt
• DuckDB

克隆项目

git clone https://github.com/dcaribou/transfermarkt-datasets.git
cd transfermarkt-datasets

数据获取

运行以下命令来获取数据：

make acquire_local ACQUIRER=transfermarkt-api ARGS="--season 2023"

数据准备

运行以下命令来准备数据：

make prepare_local

或者直接使用 dbt CLI：

cd dbt
dbt deps
dbt run

应用案例和最佳实践

数据分析

使用准备好的数据进行分析，例如获取比赛数据：

from transfermark_datasets import td

# 获取准备好的数据
prep_df = td.assets["games"].prep_df

# 获取原始数据
raw_df = td.assets["games"].raw_df

数据可视化

使用 Streamlit 进行数据可视化：

streamlit run streamlit/app.py

典型生态项目

Kaggle

Transfermarkt 数据集项目将准备好的数据发布到 Kaggle，供更多人使用和分析。

Data World

数据也发布到 Data World，这是一个流行的数据集网站，方便用户访问和使用。

Streamlit

使用 Streamlit 构建前端应用，展示数据分析结果和可视化。

streamlit run streamlit/app.py

通过这些生态项目，Transfermarkt 数据集项目能够更好地服务于数据分析和可视化社区。