Netflix Suro 分布式数据管道搭建与使用指南

1. 项目目录结构及介绍

在Netflix的Suro项目中，主要的目录结构如下：

• conf: 包含默认的配置文件，如路由映射(routingmap.json)、数据接收器(sink.json)和输入配置(input.json)。
• src: 存放源代码的主要目录，分为main/java和test/java，分别用于主程序和测试代码。
• build.gradle: 该项目的Gradle构建脚本，定义了编译和打包任务。
• README.md: 项目的说明文档。

这些组件共同构成了Suro分布式数据处理系统的核心部分。

2. 项目启动文件介绍

要启动Suro服务器，可以使用以下命令行指令：

/gradlew runServer

这将执行服务器的默认启动流程。如果你希望进行更复杂的设置，例如指定自定义配置文件，你可以先执行安装应用的步骤：

/gradlew installApp

然后进入suro-server目录并运行服务器，传入配置文件路径：

cd suro-server
java -cp "build/install/suro-server/lib/*" com.netflix.suro.SuroServer \
    -m conf/routingmap.json -s conf/sink.json -i conf/input.json

这里 -m、-s 和 -i 参数分别对应路由映射、接收器和输入配置文件的路径。

日志配置： 若要启用基本日志记录，你需要下载slf4j-simple-1.7.7.jar库，将其复制到suro-server目录，然后添加到类路径中运行：

java -cp "build/install/suro-server/lib/*:slf4j-simple-1.7.7.jar" com.netflix.suro.SuroServer \
    -m conf/routingmap.json -s conf/sink.json -i conf/input.json

3. 项目配置文件介绍

3.1 路由映射文件（routingmap.json）

routingmap.json定义了如何将接收到的数据流导向不同的目的地。它通常包含多个规则，每个规则包含一个过滤表达式和对应的接收器ID。

{
  "rule1": {
    "filter": "topic==myTopic",
    "sinkIds": ["receiver1"]
  },
  "rule2": {
    "filter": "type==error",
    "sinkIds": ["receiver2", "receiver3"]
  }
}

3.2 数据接收器文件（sink.json）

sink.json配置了Suro服务器如何处理数据。它包含了各种接收器实例及其属性，比如消息队列或数据库连接等。

[
  {
    "id": "receiver1",
    "class": "com.netflix.suro.sink.KafkaSink",
    "properties": {
      "zkConnect": "localhost:2181",
      "topic": "myKafkaTopic"
    }
  },
  {
    "id": "receiver2",
    "class": "com.netflix.suro.sink.FileSink",
    "properties": {
      "filePath": "/data/logs/"
    }
  }
]

3.3 输入配置文件（input.json）

input.json通常用来配置Suro服务如何接收数据。在实际部署中，可能不需要这个文件，因为输入通常是通过客户端发送的。

{
  "port": 4567,
  "sslPort": 4568,
  "statsdHost": "localhost",
  "statsdPort": 8125
}

以上是Suro项目的目录结构、启动方式以及核心配置文件的简单介绍。通过理解和配置这些要素，您可以成功地部署和使用Netflix的分布式数据管道系统。如果在使用过程中遇到问题，可以通过项目提供的Google Group Suro Users 进行讨论。