Kafka Connect IoT MQTT Connector 示例项目教程

1. 项目的目录结构及介绍

kafka-connect-iot-mqtt-connector-example/
├── README.md
├── live-demo-kafka-connect-iot-mqtt-connector.adoc
├── confluent-hub-components/
│   └── kafka-connect-mqtt/
├── docker-compose.yml
├── mqtt-connector-config/
│   ├── mqtt-source.properties
│   └── mqtt-sink.properties
└── scripts/
    ├── start-backend-services.sh
    └── test-mqtt-broker.sh

目录结构介绍

• README.md: 项目说明文件，包含项目的基本信息和使用指南。
• live-demo-kafka-connect-iot-mqtt-connector.adoc: 项目的详细演示文档。
• confluent-hub-components/: 存放从Confluent Hub下载的MQTT连接器组件。
• docker-compose.yml: Docker Compose 配置文件，用于启动项目所需的所有服务。
• mqtt-connector-config/: 包含MQTT源和接收器的配置文件。
• scripts/: 包含启动后端服务和测试MQTT代理的脚本。

2. 项目的启动文件介绍

start-backend-services.sh

该脚本用于启动项目的后端服务，包括Zookeeper、Kafka、Kafka Connect和MQTT Broker。

#!/bin/bash

# 启动MQTT Broker
brew services start mosquitto

# 启动Confluent平台
confluent local start

test-mqtt-broker.sh

该脚本用于测试MQTT Broker的发布/订阅功能。

#!/bin/bash

# 订阅'dummy'主题
mosquitto_sub -h 127.0.0.1 -t dummy &

# 发布消息到'dummy'主题
mosquitto_pub -h 127.0.0.1 -t dummy -m "Hello world"

3. 项目的配置文件介绍

mqtt-source.properties

该配置文件用于设置MQTT源连接器，将MQTT消息写入Kafka主题。

name=mqtt-source
connector.class=io.confluent.connect.mqtt.MqttSourceConnector
tasks.max=1
mqtt.server.uri=tcp://127.0.0.1:1883
mqtt.topics=test-topic
kafka.topic=mqtt-source-topic

mqtt-sink.properties

该配置文件用于设置MQTT接收器连接器，将Kafka消息写入MQTT主题。

name=mqtt-sink
connector.class=io.confluent.connect.mqtt.MqttSinkConnector
tasks.max=1
mqtt.server.uri=tcp://127.0.0.1:1883
topics=mqtt-sink-topic
mqtt.topic=test-topic

以上是Kafka Connect IoT MQTT Connector示例项目的详细教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助您更好地理解和使用该项目。