Malloy：数据分析的全新语言体验

2024-09-17 07:52:10作者：胡易黎Nicole

项目介绍

Malloy 是一种实验性的语言，专门用于描述数据关系和转换。它不仅是一种语义建模语言，还是一种查询语言，可以直接对关系型数据库进行查询操作。目前，Malloy 支持 BigQuery 和 Postgres 数据库，同时也可以通过 DuckDB 查询 Parquet 和 CSV 文件。无论你是数据分析师、数据工程师还是开发者，Malloy 都能为你提供一种全新的数据处理体验。

立即体验 Malloy！

点击这里，即可在浏览器中尝试 Malloy！

项目技术分析

Malloy 的核心优势在于其简洁而强大的语法设计。它通过一种直观的语言结构，让用户能够轻松地定义数据模型和执行复杂的查询操作。与传统的 SQL 相比，Malloy 的语法更加简洁，减少了冗余代码，提高了代码的可读性和可维护性。

此外，Malloy 还支持多种数据源，包括 BigQuery、Postgres 以及通过 DuckDB 访问的 Parquet 和 CSV 文件。这种灵活性使得 Malloy 能够适应不同的数据处理需求，无论是云端数据仓库还是本地文件数据。

项目及技术应用场景

Malloy 的应用场景非常广泛，尤其适合以下几种情况：

数据分析与报告：Malloy 的语法简洁明了，非常适合用于快速生成数据分析报告。无论是简单的数据汇总还是复杂的多维分析，Malloy 都能轻松应对。
数据建模与查询：对于需要频繁进行数据建模和查询的场景，Malloy 提供了一种高效的解决方案。通过 Malloy，用户可以快速定义数据模型，并执行复杂的查询操作，大大提高了工作效率。
数据工程师与开发者：Malloy 不仅适用于数据分析师，也适合数据工程师和开发者使用。它提供了一种全新的数据处理方式，帮助开发者更高效地进行数据处理和分析。

项目特点

Malloy 具有以下几个显著特点：

简洁的语法：Malloy 的语法设计简洁明了，减少了冗余代码，提高了代码的可读性和可维护性。
多数据源支持：Malloy 支持 BigQuery、Postgres 以及通过 DuckDB 访问的 Parquet 和 CSV 文件，具有很强的灵活性。
强大的查询能力：Malloy 不仅支持简单的数据查询，还能执行复杂的多维分析和数据转换操作。
社区支持：Malloy 拥有一个活跃的社区，用户可以在社区中提问、分享经验和交流想法，获得丰富的技术支持。

安装与使用

最简单的尝试 Malloy 的方式是通过 VS Code 扩展。你可以通过以下几种方式安装扩展：

show_run

加入社区

加入我们的 Malloy Slack 社区，在这里你可以提问、与其他用户交流，并分享你的想法。
使用 GitHub issues 提供反馈、建议改进、报告错误或开始新的讨论。

资源

Malloy 语言 - 快速了解 Malloy 语言
电子商务示例分析 - 通过电子商务数据集的示例，深入了解 Malloy 的基本功能
建模教程 - 通过 Iowa 酒类销售公共数据集，介绍数据建模的基本概念

贡献

如果你有兴趣为 Malloy 贡献代码，请查看开发指南和贡献指南。

Malloy 不是一个官方的 Google 产品。

示例代码

以下是一个简单的 Malloy 查询示例：

run: bigquery.table('malloy-data.faa.flights') -> {
  where: origin ? 'SFO'
  group_by: carrier
  aggregate:
    flight_count is count()
    average_flight_time is flight_time.avg()
}

对应的 SQL 代码如下：

SELECT
   carrier,
   COUNT(*) as flight_count,
   AVG(flight_time) as average_flight_time
FROM `malloy-data.faa.flights`
WHERE origin = 'SFO'
GROUP BY carrier
ORDER BY flight_count desc         -- malloy 自动按第一个聚合字段排序