Straw 开源项目使用教程

1. 项目介绍

Straw 是一个用于实时流数据搜索的平台，旨在提供一个干净、可扩展的架构，用于在流数据上进行实时搜索。该项目包含了一些工具，用于对比 Elasticsearch Percolators 和 Lucene-Luwak 的吞吐量性能。Straw 的核心是一个 Apache Storm 集群，它通过 Kafka 消费消息，并将这些消息分发到包含 Lucene-Luwak 索引的 Bolt 中。

2. 项目快速启动

2.1 环境准备

确保你的系统满足以下要求：

• Ubuntu 14.04 或更高版本
• Docker 1.8.0 或更高版本

2.2 本地运行

1. 克隆项目到本地：

   git clone https://github.com/rwalk/straw.git
   cd straw
   

2. 安装依赖：

   ./local_demo/prerequisites.sh
   

3. 启动本地集群：

   ./local_demo/launch_local_cluster.sh
   

4. 启动演示 UI：

   ./local_demo/launch_demo_ui.sh
   

5. 启动模拟数据流：

   ./local_demo/mock_firehose.sh
   

6. 打开浏览器，访问 http://localhost:5000，输入查询词（例如 "Justin Bieber"）进行测试。

2.3 部署到 AWS

1. 安装 AWS CLI 和 boto3：

   sudo apt-get install awscli
   sudo pip3 install boto3
   

2. 配置 AWS 设置：

   aws configure
   

3. 修改 AWS 配置文件：

   cd aws_config
   vi straw_service_config.sh
   

4. 创建 AWS 集群：

   ./create_clusters.py --help
   

5. 配置各个服务：

   cd configure
   ./configure_elasticsearch.sh
   

6. 提交拓扑：

   ./submit_topology.sh
   

3. 应用案例和最佳实践

3.1 实时社交媒体监控

Straw 可以用于实时监控社交媒体数据流，例如 Twitter 数据流。投资者可以通过注册查询来监控特定公司或话题的正面或负面提及，并实时接收匹配的警报。

3.2 实时日志分析

在 DevOps 环境中，Straw 可以用于实时分析服务器日志，快速检测和响应异常行为或错误。

3.3 实时推荐系统

通过实时分析用户行为数据流，Straw 可以帮助构建实时推荐系统，为用户提供个性化的推荐内容。

4. 典型生态项目

4.1 Apache Kafka

Kafka 是一个分布式流处理平台，Straw 使用 Kafka 作为消息队列，从流数据源（如 Twitter）中消费数据。

4.2 Apache Storm

Storm 是一个分布式实时计算系统，Straw 使用 Storm 集群来并行处理实时搜索任务。

4.3 Redis

Redis 是一个高性能的键值存储系统，Straw 使用 Redis 作为发布-订阅系统，处理查询匹配结果的传递。

通过以上步骤，你可以快速启动并部署 Straw 项目，并了解其在不同应用场景中的使用方法和最佳实践。