Apache Druid中处理Kafka Protobuf数据时遇到的Schema问题解析

背景介绍

Apache Druid作为一款高性能的实时分析数据库，提供了对多种数据格式的支持，包括通过扩展插件实现的Protobuf格式支持。在实际应用中，用户经常需要将Kafka中的Protobuf格式数据直接摄入到Druid中进行实时分析。

问题现象

在使用Druid 32.0.1版本时，尝试从Kafka摄入Protobuf格式数据时遇到了"Failed to sample data: Fail to get protobuf schema because of invalid schema!"的错误。尽管已经正确配置了schema registry，并且确认schema已成功注册，但Druid仍然无法正确解析数据。

问题根源分析

经过深入排查，发现问题的根本原因在于版本兼容性。Druid 32.0.1版本对Kafka Protobuf相关依赖的版本有特定要求，与最新版本的Kafka Protobuf序列化器存在兼容性问题。

具体表现为：

1. Druid内置的Protobuf扩展对某些较新版本的Protobuf依赖支持不完善
2. Schema Registry客户端版本与Kafka Protobuf序列化器版本需要保持一致
3. 相关依赖库（如wire-runtime、protobuf-java等）的版本也需要匹配

解决方案

要解决这个问题，需要采取以下步骤：

1. 版本降级：将Kafka生产端使用的kafka-protobuf-serializer和kafka-schema-registry-maven-plugin降级到7.1.16版本

2. 依赖库更新：在Druid的protobuf扩展目录中添加以下必要的JAR文件：

   • kafka-protobuf-provider-7.1.16.jar
   • kafka-protobuf-types-7.1.16.jar
   • kafka-schema-registry-client-7.1.16.jar
   • kotlin-stdlib-1.9.10.jar
   • okio-jvm-3.4.0.jar
   • proto-google-common-protos-2.22.1.jar
   • protobuf-java-3.25.5.jar
   • protobuf-java-util-3.25.5.jar
   • wire-runtime-jvm-4.9.7.jar
   • wire-schema-jvm-4.9.7.jar

3. 配置验证：确保Kafka消费者的配置正确指向Schema Registry服务，并且Protobuf消息的package和java_package定义与生产端一致

最佳实践建议

1. 版本一致性：保持Kafka生产端、Schema Registry和Druid消费端的Protobuf相关依赖版本一致

2. 依赖管理：定期检查Druid官方文档，了解各扩展插件支持的依赖版本范围

3. 测试验证：在正式环境部署前，先在测试环境验证Protobuf数据的完整处理流程

4. 监控配置：设置适当的监控，确保Schema Registry的连接和Protobuf解析过程正常工作

总结

处理Druid与Kafka Protobuf数据集成时，版本兼容性是需要特别关注的重点。通过合理控制各组件版本，并确保依赖库完整，可以避免大部分Schema解析问题。建议用户在遇到类似问题时，首先检查版本匹配情况，再逐步排查其他可能的原因。

对于开源项目，版本间的兼容性信息往往分散在各个文档或issue中，这提示我们在使用较新版本的技术栈时需要更加谨慎，必要时可以参考社区的实际使用经验来选择合适的版本组合。