dlt项目中sql_database源对可空游标值的处理问题分析

问题背景

在数据工程领域，增量加载是处理大规模数据时的常见需求。dlt作为一个数据加载工具，其sql_database源组件提供了从SQL数据库增量加载数据的功能。然而，在实际使用中发现了一个重要问题：当使用可空列作为增量加载的游标字段时，当前实现无法正确处理NULL值。

问题现象

当配置sql_database源对包含可空时间戳列的表进行增量加载时，生成的SQL查询会忽略该列为NULL的行记录。例如，对于一个类似会话表的locations表，其中end_at列在会话未结束时保持NULL值，当前实现生成的查询类似：

SELECT locations.id, locations.user_id, locations.begin_at, locations.end_at
FROM locations 
WHERE locations.end_at >= :end_at_1

这种查询会完全排除end_at为NULL的记录，与增量加载的预期行为不符。

技术分析

预期行为

根据dlt文档描述，增量加载应该支持通过on_cursor_value_missing="include"参数来包含游标列为NULL的记录。正确的SQL查询应该包含OR条件来捕获NULL值：

SELECT locations.id, locations.user_id, locations.begin_at, locations.end_at
FROM locations 
WHERE locations.end_at IS NULL OR locations.end_at >= :end_at_1

当前实现缺陷

当前sql_database源的实现存在两个主要问题：

1. 没有正确处理on_cursor_value_missing参数，导致NULL值被无条件过滤
2. 生成的WHERE子句过于简单，没有考虑NULL值的特殊情况

数据库行为差异

值得注意的是，不同数据库对NULL值的排序处理存在差异。以PostgreSQL为例，NULL值在升序排列时会被放在最后，降序排列时也会被放在最后。这种特性会影响增量加载中记录的处理顺序。

影响范围

这个问题会影响所有使用sql_database源进行增量加载且游标列包含NULL值的场景，特别是：

• 会话跟踪系统（未结束会话的结束时间为NULL）
• 事件处理系统（未完成事件的完成时间为NULL）
• 任何使用可空时间戳作为状态标识的系统

临时解决方案

目前开发者可以采用query_adapter_callback参数手动修改查询来包含NULL值记录：

def allow_pending_locations(query: Select, table: Table):
    if not query._where_criteria:
        return query
    last_value = query._where_criteria[0].right.effective_value
    return table.select().where(
        or_(
            table.c.end_at.is_(None),
            table.c.end_at > last_value,
        )
    )

潜在问题

即使修复了NULL值处理问题，还需要注意：

1. NULL值记录会在每次增量加载时被重复获取
2. 需要根据业务需求决定NULL值的排序位置（最先还是最后处理）
3. 对于长期保持NULL值的记录，应考虑使用合并/更新策略而非简单追加

最佳实践建议

对于类似场景，建议：

1. 对于会保持NULL状态一段时间的记录，考虑使用特殊默认值而非NULL
2. 实现自定义的增量逻辑处理NULL值情况
3. 对于关键业务数据，添加数据质量检查确保NULL值的合理性

这个问题凸显了在数据管道中处理边界条件的重要性，特别是在使用增量加载策略时，需要全面考虑各种数据状态的可能性。