Quokka：让数据湖为时间序列工作负载而生

项目介绍

Quokka 是一个专为时间序列数据设计的高性能分布式查询引擎。它基于 Python 构建，集成了 DuckDB、Polars、Ray、Arrow、Redis 和 SQLGlot 等强大的技术组件。Quokka 的核心目标是让数据湖能够高效地处理时间序列数据，无论是复杂的窗口计算、时间序列连接，还是复杂的模式识别和自定义状态计算，Quokka 都能轻松应对。

项目技术分析

Quokka 采用了基于推送的分布式查询引擎架构，并结合了基于血统的容错机制。这种设计使得 Quokka 能够在处理大规模历史时间序列数据时，实现高效的流水线操作和 I/O 优化。Quokka 的数据流（DataStream）类似于 Spark 的 RDD，但不同的是，数据分区可以按顺序生成并立即消费，从而避免了 Spark 中所有分区必须同时存在的限制。

Quokka 的技术栈包括：

• DuckDB：用于高效的 SQL 查询和关系代数计算。
• Polars：提供快速的 DataFrame 操作。
• Ray：用于任务调度和分布式计算。
• Arrow：用于高效的数据 I/O。
• Redis：用于血统记录和状态管理。
• SQLGlot：用于 SQL 解析和优化。

项目及技术应用场景

Quokka 的应用场景非常广泛，特别适合需要处理大规模时间序列数据的领域，例如：

• 高频交易回测：在几分钟内回测过去四年的高频交易策略。
• 向量嵌入分析：轻松集成新的输入读取器，如 Lance 格式。
• 极端特征工程：在 10,000 列数据上进行复杂的特征工程。
• TPC-H 查询：在许多 TPC-H 查询中，Quokka 的性能远超 SparkSQL。

此外，Quokka 还支持复杂的模式识别、冰山订单检测和在线学习算法的回测等高级应用场景。

项目特点

Quokka 具有以下显著特点：

1. 完全基于 Python：Quokka 的实现完全基于 Python，易于扩展和定制。
2. 高效的流水线操作：通过数据分区的顺序生成和立即消费，实现高效的流水线操作。
3. 强大的时间序列处理能力：支持复杂的时间序列操作，如窗口计算、时间序列连接和模式识别。
4. 易于扩展：Quokka 的设计使得添加新的操作和用例变得非常简单，只需提交一个 GitHub 问题，开发者很可能会为你编写相应的操作符。
5. 高性能：集成了多个高效的 C++/Rust 实现库，确保了卓越的性能。

快速开始

要开始使用 Quokka，首先需要安装 Redis 6.2 或更高版本，然后通过 pip 安装 pyquokka。Quokka 提供了一个类似于 Spark DataFrame API 的数据流 API，可以轻松地从 Polars DataFrame 创建数据流进行本地测试。

pip3 install pyquokka

更多详细信息和示例代码，请参考 Quokka 文档。

结语

Quokka 是一个强大的工具，特别适合需要处理大规模时间序列数据的应用场景。无论你是数据科学家、量化分析师还是开发人员，Quokka 都能为你提供高效、灵活的解决方案。如果你对 Quokka 感兴趣，欢迎加入 Discord 社区 或通过 GitHub 提交问题和建议。让我们一起让数据湖为时间序列工作负载而生！