Boto3 Kendra WebCrawler数据源自定义元数据配置指南

在使用AWS Kendra服务时，开发人员经常需要通过Boto3 SDK为WebCrawler数据源添加自定义元数据。本文将详细介绍如何正确配置Kendra索引和数据源以实现这一需求。

问题背景

许多开发者尝试直接通过create_data_source或update_data_sourceAPI为WebCrawler数据源添加自定义元数据时，会遇到验证错误。错误信息通常提示"未找到文档元数据配置"，这表明系统无法识别开发者试图添加的自定义属性。

根本原因分析

Kendra服务要求任何自定义文档属性必须先在索引级别定义，然后才能在数据源级别使用。这种设计确保了索引结构的一致性，并允许对所有数据源使用统一的元数据架构。

解决方案步骤

第一步：更新索引元数据配置

在创建或更新数据源之前，必须先通过update_indexAPI为索引定义所需的文档元数据配置：

response = kendra.update_index(
    Id='your-index-id',
    DocumentMetadataConfigurations=[
        {
            'Name': 'website_creation_date',
            'Type': 'DATE_VALUE',
            'Search': {
                'Facetable': True,
                'Searchable': True,
                'Displayable': True
            }
        },
        {
            'Name': 'data_source_id',
            'Type': 'STRING_VALUE',
            'Search': {
                'Facetable': True,
                'Searchable': True,
                'Displayable': True
            }
        }
    ]
)

第二步：配置数据源自定义元数据

在索引更新完成后，即可在创建或更新数据源时使用这些预定义的元数据字段：

response = kendra.create_data_source(
    Name='your-data-source-name',
    IndexId='your-index-id',
    Type='WEBCRAWLER',
    Configuration={
        'WebCrawlerConfiguration': {
            'Urls': {
                'SeedUrlConfiguration': {
                    'SeedUrls': [
                        'https://example.com'
                    ]
                }
            }
        }
    },
    CustomDocumentEnrichmentConfiguration={
        'InlineConfigurations': [
            {
                'Target': {
                    'TargetDocumentAttributeKey': 'website_creation_date',
                    'TargetDocumentAttributeValue': {
                        'DateValue': '2024-10-03T00:00:00Z'
                    }
                }
            },
            {
                'Target': {
                    'TargetDocumentAttributeKey': 'data_source_id',
                    'TargetDocumentAttributeValue': {
                        'StringValue': 'your-data-source-id'
                    }
                }
            }
        ]
    }
)

最佳实践建议

1. 预定义所有元数据字段：在创建索引时，预先定义所有可能用到的元数据字段，避免后续频繁更新索引配置。

2. 合理设置搜索属性：根据实际需求为每个元数据字段配置适当的搜索属性（可搜索、可分面、可显示）。

3. 批量处理：如果需要添加多个自定义元数据，建议在一次API调用中完成，减少API调用次数。

4. 测试验证：在正式环境部署前，先在测试环境验证元数据配置是否符合预期。

常见问题解答

Q：为什么需要先在索引级别定义元数据？

A：这种设计确保了索引结构的统一性，防止不同数据源使用不一致的元数据架构，同时也便于后续的搜索和过滤操作。

Q：更新索引配置会影响现有数据吗？

A：添加新的元数据字段不会影响现有数据，但修改已有字段的类型可能会导致兼容性问题，建议谨慎操作。

通过遵循上述步骤和最佳实践，开发者可以有效地为Kendra WebCrawler数据源配置自定义元数据，从而更好地组织和检索爬取的网页内容。