Malloy 开源项目教程

1. 项目介绍

Malloy 是一个实验性的语言，用于描述数据关系和转换。它既是一个语义建模语言，也是一个查询语言，能够对关系数据库进行查询。Malloy 目前支持 BigQuery 和 Postgres，并且可以通过 DuckDB 查询 Parquet 和 CSV 文件。

Malloy 的主要特点包括：

• 简单命名和实用可重用性：避免重复定义，节省时间。
• 防止查询错误：减少因看似准确的查询导致错误结果的挫败感。
• 易于阅读和编写：查询简洁且易于理解。
• 迭代模型：在查询过程中逐步完善模型。

2. 项目快速启动

安装 Malloy

Malloy 可以通过 VS Code 扩展来使用。以下是安装步骤：

1. 安装 VS Code：如果你还没有安装 VS Code，可以从 VS Code 官网 下载并安装。
2. 安装 Malloy 扩展：
   • 打开 VS Code。
   • 进入扩展市场，搜索 "Malloy"。
   • 点击安装。

创建第一个 Malloy 查询

以下是一个简单的 Malloy 查询示例：

run: bigquery.table('malloy-data.faa.flights') -> {
  where: origin = 'SFO'
  group_by: carrier
  aggregate: flight_count is count()
  average_flight_time is flight_time.avg()
}

这个查询从 malloy-data.faa.flights 表中选择数据，筛选出 origin 为 SFO 的记录，并按 carrier 分组，计算每个 carrier 的航班数量和平均飞行时间。

3. 应用案例和最佳实践

电商数据分析

Malloy 可以用于电商数据的分析，例如分析销售数据、用户行为等。以下是一个电商数据分析的示例：

run: bigquery.table('malloy-data.ecommerce.sales') -> {
  group_by: product_category
  aggregate: total_sales is sum(sales_amount)
  average_sales is sales_amount.avg()
}

最佳实践

• 模块化查询：将复杂的查询分解为多个模块化的查询，便于维护和重用。
• 使用语义模型：利用 Malloy 的语义模型功能，简化数据关系的描述。
• 迭代开发：在查询过程中逐步完善模型，确保数据的准确性和完整性。

4. 典型生态项目

BigQuery

Malloy 支持 BigQuery，可以直接查询 BigQuery 中的数据。BigQuery 是一个强大的云数据仓库，适合大规模数据分析。

Postgres

Malloy 也支持 Postgres，适合中小型数据集的分析。Postgres 是一个开源的关系数据库，具有良好的扩展性和稳定性。

DuckDB

DuckDB 是一个嵌入式的 SQL 数据库，Malloy 可以通过 DuckDB 查询 Parquet 和 CSV 文件，适合本地数据分析和处理。

通过这些生态项目，Malloy 可以覆盖多种数据源和场景，满足不同用户的需求。