Kafka UI：开源Apache Kafka集群管理工具

Kafka UI是一个多功能、快速且轻量级的Web UI，用于管理和监控Apache Kafka®集群。该项目由开发者为开发者构建，是一个免费的开源Web UI，通过其轻量级的仪表板可以轻松跟踪Kafka集群的关键指标，如Broker、Topics、Partitions、生产和消费。

项目特色功能

Kafka UI提供了丰富的功能来简化Kafka集群的管理工作：

• 多集群管理 - 在一个界面中监控和管理所有集群
• 性能监控仪表板 - 通过轻量级仪表板跟踪关键Kafka指标
• Kafka Broker查看 - 查看主题和分区分配、控制器状态
• Kafka Topic查看 - 查看分区计数、复制状态和自定义配置
• 消费者组查看 - 查看每个分区的偏移量和延迟
• 消息浏览 - 浏览JSON、纯文本和Avro编码的消息
• 动态主题配置 - 使用动态配置创建和配置新主题

快速启动指南

环境要求

在开始之前，请确保您已经安装了Docker和Docker Compose。

快速启动步骤

1. 克隆项目仓库

   git clone https://gitcode.com/GitHub_Trending/ka/kafka-ui
   cd kafka-ui
   

2. 启动Kafka和Kafka UI

   docker-compose up -d
   

3. 访问Kafka UI

   打开浏览器并访问 http://localhost:8080，您将看到Kafka UI的仪表板。

演示运行

如果您想快速体验Kafka UI，可以使用以下命令：

docker run -it -p 8080:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

然后访问 http://localhost:8080 即可使用Web UI。

持久化安装

对于生产环境，建议使用持久化安装配置：

services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080
    environment:
      DYNAMIC_CONFIG_ENABLED: 'true'
    volumes:
      - ~/kui/config.yml:/etc/kafkaui/dynamic_config.yaml

主题管理

Kafka UI使得在浏览器中创建主题变得非常简单，只需几次点击即可完成：

您可以从连接器视图跳转到相应的主题，以及从主题跳转到消费者（双向），实现更方便的导航。

消息生产

使用Kafka UI可以轻松地向Kafka主题发送数据/消息：

只需指定参数即可发送消息，无需复杂操作。

Schema注册表支持

Kafka UI支持三种类型的schema：

• Avro® schema
• JSON Schema
• Protobuf schema

在生成avro/protobuf编码消息之前，您需要在Schema注册表中为topic添加schema。现在所有这些步骤都可以在用户友好的界面中通过几次点击完成。

配置选项

Kafka UI提供了丰富的配置选项，包括：

• 可配置的身份验证 - 使用可选的Github/Gitlab/Google OAuth 2.0保护安装
• 自定义序列化/反序列化插件 - 使用现成的serde或编写自己的serde
• 基于角色的访问控制 - 精确管理UI访问权限
• 数据掩码 - 混淆topic消息中的敏感数据

应用场景

Kafka UI适用于以下场景：

• 实时数据流处理 - 监控和管理实时数据流，确保数据流的稳定性和可靠性
• 日志聚合 - 集中管理日志数据，便于分析和故障排查
• 事件驱动架构 - 支持事件驱动的微服务架构，提高系统的可扩展性和灵活性

最佳实践

• 定期监控 - 定期检查Kafka集群的健康状况，包括Broker、Topics和Partitions的状态
• 性能优化 - 根据实际使用情况调整Kafka的配置，以优化性能和资源利用率
• 安全管理 - 配置适当的访问控制和认证机制，确保数据的安全性

Kafka UI作为Apache Kafka生态系统的重要组成部分，为开发者提供了一个直观、易用的管理界面，大大简化了Kafka集群的运维工作。无论是开发测试还是生产环境，Kafka UI都是一个值得尝试的优秀工具。