Apache Kafka 项目教程

1. 项目的目录结构及介绍

Apache Kafka 的 GitHub 仓库（https://github.com/apache/kafka.git）包含以下主要目录和文件：

• bin: 包含 Kafka 的启动脚本和工具脚本。
• config: 包含 Kafka 的配置文件。
• core: 包含 Kafka 核心的源代码。
• docs: 包含 Kafka 的文档。
• examples: 包含一些示例代码。
• libs: 包含 Kafka 依赖的库文件。
• streams: 包含 Kafka Streams 的源代码。
• tests: 包含测试代码。

2. 项目的启动文件介绍

在 bin 目录下，主要的启动文件包括：

• kafka-server-start.sh: 用于启动 Kafka 服务器（Broker）。
• zookeeper-server-start.sh: 用于启动 ZooKeeper 服务器。
• kafka-console-producer.sh: 用于启动控制台生产者。
• kafka-console-consumer.sh: 用于启动控制台消费者。

使用示例：

# 启动 ZooKeeper
bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动 Kafka Broker
bin/kafka-server-start.sh config/server.properties

3. 项目的配置文件介绍

在 config 目录下，主要的配置文件包括：

• server.properties: Kafka Broker 的主要配置文件。
• zookeeper.properties: ZooKeeper 的主要配置文件。
• producer.properties: 生产者的配置文件。
• consumer.properties: 消费者的配置文件。

server.properties 主要配置项：

• broker.id: Broker 的唯一标识符。
• listeners: Broker 监听的地址和端口。
• log.dirs: Kafka 数据日志的存储目录。
• zookeeper.connect: ZooKeeper 的连接地址。

zookeeper.properties 主要配置项：

• dataDir: ZooKeeper 数据存储目录。
• clientPort: ZooKeeper 监听的客户端端口。

通过这些配置文件，可以对 Kafka 和 ZooKeeper 进行详细的配置，以满足不同的部署需求。