探索大数据分析新边界：Spindle —— Adobe 实验性Web分析查询引擎

Spindle 是由 Brandon Amos 在2014年与Adobe Research合作的实习项目。尽管该项目目前不再处于活跃开发状态，但它为我们提供了一个宝贵的窗口，让我们一窥基于实时大数据处理的Web分析查询系统的设计理念。

1、项目介绍

Spindle是一个以Apache Spark为核心的原型查询引擎，专为处理大规模生产工作负载而设计。它通过一个多线程的HTTP接口（由Spray框架实现）接收查询请求，并利用分布式文件系统（如HDFS）上的列式存储格式Apache Parquet进行数据查询。

此外，项目还包括了基准测试脚本，用于评估在探索Spark调优选项时，系统性能的变化。尽管当前实现尚未在大规模部署中测试，但实验结果显示，在六节点集群上处理13.1GB的数据时，有潜力达到更高的性能水平。

2、项目技术分析

Spark 的核心在于其提供了速度比传统Hadoop MapReduce快100倍的内存计算能力。Spindle充分利用了Spark的这一优势，结合Parquet的高效列存特性，构建出低延迟的数据查询解决方案。值得注意的是，项目采用了一种公平调度策略（FAIR），以优化并发查询时的整体延迟。

3、应用场景

Spindle旨在服务那些需要实时响应大量数据查询的应用场景，例如：

• 大型媒体公司如NBC Universal，使用Spark查询HBase表格并分析国际电视视频分发情况。
• 电信运营商如Telefonica，运用Spark和Cassandra进行网络安全数据分析。

此类应用通常涉及PB级别的数据和数千节点的集群。

4、项目特点

• 基于Spark：Spindle利用Spark的强大计算能力，支持快速数据处理和分析。
• 多线程HTTP接口：使用Spray框架，提供高性能、响应式的Web服务。
• Parquet列式存储：利用高效的列式存储，降低数据查询复杂度，提升效率。
• 可扩展性：设计考虑了在大型集群中的部署，具有进一步扩展的可能。

虽然Spindle是一个实验项目，但它揭示了构建大规模Web分析系统的可能性，并为开发者提供了关于如何利用Spark进行生产级应用的宝贵洞察。

要了解更多详情或查看演示，请访问项目仓库：https://github.com/adobe-research/spindle

一起探索大数据分析的新边界，让Spindle引领我们前进！