Boto3中使用Kendra S3连接器的TemplateConfiguration配置指南

Amazon Kendra作为企业级智能搜索服务，其数据源连接器的配置方式近期进行了重要升级。本文主要介绍如何通过boto3使用新版TemplateConfiguration方式配置S3数据源连接器。

新旧配置方式对比

Kendra服务近期对S3连接器进行了架构升级，主要变化包括：

1. 旧版使用S3DataSourceConfiguration对象进行配置
2. 新版要求使用TemplateConfiguration对象
3. 旧版配置的连接器仍可工作但无法修改
4. 官方建议尽快迁移到新版配置方式

TemplateConfiguration核心结构

新版S3连接器的配置模板包含三个主要部分：

1. 连接配置：定义与S3存储桶的基本连接信息
2. 字段映射：配置数据源字段与索引字段的对应关系
3. 同步模式：指定数据同步方式

完整配置示例

以下是一个完整的boto3配置示例，展示了如何使用TemplateConfiguration创建S3数据源：

import boto3

# 初始化Kendra客户端
kendra_client = boto3.client('kendra', region_name='us-east-1')

# 定义S3连接器模板配置
template = {
    "connectionConfiguration": {
        "repositoryEndpointMetadata": {
            "BucketName": "目标存储桶名称"
        }
    },
    "repositoryConfigurations": {
        "document": {
            "fieldMappings": [
                {
                    "indexFieldName": "自定义字段",
                    "indexFieldType": "STRING",
                    "dataSourceFieldName": "数据源字段名",
                }
            ]
        }
    },
    "syncMode": "FULL_CRAWL",  # 完全爬取模式
    "type": "S3"  # 指定为S3连接器类型
}

# 创建数据源
response = kendra_client.create_data_source(
    Name='数据源名称',
    IndexId='Kendra索引ID',
    Type="TEMPLATE",  # 必须指定为TEMPLATE类型
    Configuration={
        'TemplateConfiguration': {
            'Template': template
        }
    },
    RoleArn='IAM角色ARN',
)

print(response)

关键配置项说明

1. BucketName：必须替换为实际的S3存储桶名称
2. fieldMappings：可根据实际需求配置多个字段映射
3. syncMode：支持FULL_CRAWL(全量同步)和INCREMENTAL(增量同步)
4. Type：创建时必须设置为"TEMPLATE"

最佳实践建议

1. 对于生产环境，建议先在小规模数据上测试配置
2. 增量同步模式更适合频繁更新的数据源
3. 确保IAM角色具有足够的S3访问权限
4. 字段映射应提前规划好，避免频繁修改

通过上述配置方式，开发者可以充分利用Kendra新版S3连接器的功能，实现更灵活的数据源管理。相比旧版配置，TemplateConfiguration提供了更清晰的配置结构和更强的扩展性。