Trino连接AWS MSK集群的IAM认证配置指南

概述

本文将详细介绍如何在Trino中配置Kafka连接器，使其能够通过IAM认证方式访问AWS Managed Streaming for Kafka (MSK)集群。AWS MSK是亚马逊提供的完全托管的Apache Kafka服务，而IAM认证则是AWS提供的一种安全认证机制。

背景知识

AWS MSK支持多种认证方式，其中IAM认证是一种基于AWS身份和访问管理(IAM)的认证方法。与传统的SASL/SCRAM或Kerberos认证不同，IAM认证允许使用AWS IAM策略来控制对Kafka集群的访问权限。

配置步骤

1. 基础配置

首先需要在Trino的配置目录中创建Kafka连接器的配置文件kafka.properties，内容如下：

connector.name=kafka
kafka.nodes=<BOOTSTRAPSERVERS>
kafka.table-names=<TABLE_NAME>
kafka.hide-internal-columns=false
kafka.config.resources=/etc/kafka-configuration.properties

其中：

• <BOOTSTRAPSERVERS>应替换为MSK集群的bootstrap服务器地址
• <TABLE_NAME>应替换为需要访问的Kafka主题名称

2. 安全配置

创建安全配置文件kafka-configuration.properties，内容如下：

security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

这些配置指定了：

• 使用SASL_SSL安全协议
• 采用AWS_MSK_IAM作为SASL机制
• 配置了IAM登录模块和回调处理器

3. 依赖库安装

需要将AWS MSK IAM认证库aws-msk-iam-auth-2.2.0-all.jar复制到Trino的Kafka插件目录：

cp aws-msk-iam-auth-2.2.0-all.jar /usr/lib/trino/plugin/kafka/

4. Docker运行示例

如果使用Docker运行Trino，可以使用以下命令：

docker run -p 8080:8080 -it --entrypoint bash \
  -v $(pwd)/config.properties:/etc/trino/config.properties \
  -v $(pwd)/kafka.properties:/etc/trino/catalog/kafka.properties \
  -v $(pwd)/kafka-configuration.properties:/etc/kafka-configuration.properties \
  -v $(pwd)/plugin/aws-msk-iam-auth-2.2.0-all.jar:/usr/lib/trino/plugin/kafka/aws-msk-iam-auth-2.2.0-all.jar \
  trinodb/trino:latest

工作原理

当Trino通过Kafka连接器访问MSK集群时：

1. 连接器会加载配置的安全协议和认证机制
2. 使用AWS IAM凭证(通常是EC2实例角色或环境变量配置的凭证)进行认证
3. IAM登录模块会处理认证流程，生成必要的签名
4. 回调处理器负责处理认证过程中的回调请求

注意事项

1. 确保运行Trino的实例或容器具有访问MSK集群的IAM权限
2. 版本兼容性：确认使用的AWS MSK IAM认证库版本与MSK集群版本兼容
3. 网络配置：确保Trino能够访问MSK集群的网络端点
4. 安全组和ACL：检查MSK集群的安全组和网络ACL设置，允许来自Trino实例的连接

总结

通过以上配置，Trino可以安全地连接到仅启用IAM认证的AWS MSK集群。这种配置方式充分利用了AWS IAM的细粒度访问控制能力，同时避免了传统Kafka认证机制中证书或密钥管理的复杂性。对于已经深度使用AWS服务的组织，这是集成Trino和MSK的理想方案。