【亲测免费】 Kafka Exporter 使用与配置指南

1. 项目目录结构及介绍

Kafka Exporter 的源码目录结构大致如下：

.
├── LICENSE
├── README.md
├── cmd
│   └── kafka_exporter       # 主要的Go程序，实现KafkaExporter服务
├── config
│   └── example.yml          # 示例配置文件
├── contrib
│   ├── docker                # Docker相关的资源
│   └── grafana dashboards    # 提供的Grafana仪表盘模板
├── internal
│   ├── consumer              # 消费者管理代码
│   ├── producer              # 生产者管理代码
│   └── ...                   # 其他内部实现
├── scripts
│   └── build.sh              # 构建脚本
└── testdata                  # 测试数据

• cmd/kafka_exporter: 包含了主程序，用于启动Kafka Exporter服务。
• config/example.yml: 提供了一个配置文件示例，展示如何配置Kafka Exporter。
• contrib: 包含辅助资源，如Docker配置和Grafana仪表盘。
• internal: 存放Kafka Exporter的具体实现代码，如消费者和生产者的操作逻辑。

2. 项目的启动文件介绍

Kafka Exporter 的启动命令通常如下，可以通过传递参数来设置配置：

/kafka_exporter --kafka.server=<KAFKA_BROKER>:<PORT> [other options]

其中，<KAFKA_BROKER> 是你的Kafka集群中的一个代理节点的主机名或IP地址，<PORT> 是Kafka的TCP端口号，默认是9092。其他常用选项包括：

• --kafka.labels: 添加自定义标签，以便在Prometheus中区分不同的Kafka集群。
• --use-consumelag: 使用ZooKeeper来获取消费者滞后数据。
• --zookeeper.server: ZooKeeper服务器的地址和端口，用于消费者滞后数据。
• --kafka.version: 指定目标Kafka版本，影响协议解析。

如果使用配置文件，可以添加--config.file=<PATH_TO_CONFIG_FILE> 参数指定配置文件位置。

3. 项目的配置文件介绍

Kafka Exporter 的配置文件采用YAML格式，例如 config/example.yml，主要包括以下部分：

global:
  scrape_interval:     10s # 设置Prometheus扫描间隔，比如每10秒

kafka:
  servers: ["localhost:9092"] # Kafka服务器列表
  labels: {"cluster": "my-cluster"} # 自定义标签
  version: "2.2.0" # Kafka版本号
  timeout: 5s # 请求超时时间

zookeeper:
  servers: ["localhost:2181"] # ZooKeeper服务器列表
  chroot: "/kafka" # ZooKeeper的chroot路径

metrics_path: /metrics # HTTP端点上的度量路径
web.listen_address: ":9308" # 服务监听的HTTP地址和端口

配置文件允许你自定义多个Kafka集群的配置，以及Kafka Exporter本身的运行参数。请注意，根据实际情况替换示例中的服务器地址和端口。