AWS SDK for JavaScript v3 中 DynamoDB Scan 命令返回空结果的排查与解决

在使用 AWS SDK for JavaScript v3 操作 DynamoDB 时，开发者可能会遇到 Scan 命令返回空结果的问题。本文将深入分析这一常见问题的原因，并提供有效的解决方案。

问题现象

开发者在使用 @aws-sdk/client-dynamodb 和 @aws-sdk/lib-dynamodb 库时，构建了一个包含 FilterExpression 的 Scan 命令查询 DynamoDB 表，但返回结果为空数组，即使确认数据库中存在符合条件的数据。

核心代码分析

典型的 Scan 命令配置如下：

const queryOptions = {
    TableName: 'Audit',
    IndexName: 'DateTime-index',
    FilterExpression: `begins_with(#DateTime, :dateTime) AND begins_with(#Name, :name)`,
    ExpressionAttributeNames: {
        "#Name": "Name",
        "#DateTime": "DateTime"
    },
    ExpressionAttributeValues: {
        ":dateTime": reportRequest.reportDate,
        ":name": name
    }
}

问题排查步骤

1. 基础验证：首先移除所有过滤条件，仅保留 TableName 参数，验证是否能返回数据
2. 逐步添加条件：逐个添加 FilterExpression 中的条件，定位导致问题的具体条件
3. 数据类型检查：确认 ExpressionAttributeValues 中的值与数据库中存储的数据类型匹配
4. 索引验证：检查使用的 GSI（全局二级索引）是否包含查询所需的所有属性

根本原因

经过深入分析，发现该问题的主要原因是：

1. 分页处理缺失：Scan 操作默认有1MB的数据返回限制，当结果集较大时，需要实现分页逻辑获取完整结果
2. 过滤时机问题：FilterExpression 是在 Scan 操作从表中读取数据后应用的，可能影响最终返回结果的数量

解决方案

1. 实现分页处理：

const scanResults = [];
let lastEvaluatedKey = undefined;

do {
    const params = {
        TableName: 'Audit',
        ExclusiveStartKey: lastEvaluatedKey,
        FilterExpression: `begins_with(#DateTime, :dateTime) AND begins_with(#Name, :name)`,
        ExpressionAttributeNames: {
            "#Name": "Name",
            "#DateTime": "DateTime"
        },
        ExpressionAttributeValues: {
            ":dateTime": date,
            ":name": name
        }
    };
    
    const data = await docClient.send(new ScanCommand(params));
    scanResults.push(...(data.Items || []));
    lastEvaluatedKey = data.LastEvaluatedKey;
} while (lastEvaluatedKey);

2. 优化查询方式：

• 考虑使用 Query 代替 Scan 操作，特别是当查询条件包含分区键时
• 确保 GSI 包含查询所需的所有属性，避免额外读取操作

最佳实践建议

1. 避免在大表上使用 Scan 操作，优先使用 Query
2. 实现完整的分页逻辑处理大数据集
3. 在开发阶段添加详细的日志记录，包括请求参数和返回结果
4. 使用 DynamoDB 本地测试环境验证查询逻辑

通过以上分析和解决方案，开发者可以有效解决 DynamoDB Scan 操作返回空结果的问题，并优化数据查询性能。