Waterdrop项目：Oracle数据迁移至ClickHouse的非空列处理方案

背景介绍

在数据迁移过程中，从Oracle数据库向ClickHouse迁移数据时经常会遇到数据类型兼容性问题。特别是当源表包含NULL值或特殊日期值(如1900-01-01)时，而目标ClickHouse表的列被定义为非空(NOT NULL)，这会导致数据迁移失败。

核心问题分析

1. NULL值处理：Oracle允许列包含NULL值，而ClickHouse默认情况下列是非空的，除非显式声明为Nullable类型
2. 日期范围限制：ClickHouse的DateTime类型只支持1970年以后的日期，而Oracle中可能存在更早的日期值(如1900-01-01)
3. 批量处理挑战：当需要同步40多张表时，手动处理每张表的列属性会非常耗时

解决方案探讨

方案一：预创建Nullable表结构

最可靠的解决方案是在执行数据迁移前，先在ClickHouse中创建好目标表结构，并将可能包含NULL值的列显式声明为Nullable类型。这可以通过：

1. 编写脚本自动从Oracle元数据表(如ALL_TAB_COLUMNS)中提取列信息
2. 根据Oracle列的NULLABLE属性(值为'Y')，在ClickHouse中创建对应的Nullable列
3. 对于日期字段，可以设置默认值或使用更宽松的日期类型

示例ClickHouse建表语句：

CREATE TABLE SCHEMA_NAME.TABLE_NAME 
(
    `SEQNF` Float64,
    `NUMERODF` Int64,
    `SERIEDF` String,
    `NROSERIEECF` String,
    `NROEMPRESA` Int32,
    `NROECF` Nullable(String),  -- 显式声明为Nullable
    `STATUSDF` String,
    `SEQPESSOA` Float64,
    `SEQPESSOAEND` Nullable(Int32)
)

方案二：使用SeaTunnel转换逻辑

如果无法预先修改表结构，可以在SeaTunnel配置中使用transform阶段进行数据转换：

1. 对于NULL值，可以转换为合理的默认值(如空字符串、0等)
2. 对于超出范围的日期，可以替换为ClickHouse支持的最小日期(1970-01-01)
3. 使用DynamicCompile插件编写自定义转换逻辑

方案三：配置ClickHouse Sink参数

在SeaTunnel的ClickHouse Sink配置中，可以尝试以下参数组合：

sink {
  Clickhouse {
    skip_errors = ["Cannot set null to non-nullable column", "DateTime should between"]
    allow_nullable = true
    # 其他配置...
  }
}

最佳实践建议

1. 预处理阶段：优先考虑在ClickHouse中创建合适的表结构，特别是对于大批量表迁移场景
2. 数据类型映射：建立Oracle到ClickHouse的数据类型映射表，特别注意NULLABLE属性的转换
3. 批量处理：对于40多张表的迁移，建议编写自动化脚本统一处理
4. 错误处理：配置详细的错误日志记录，便于排查问题
5. 性能优化：合理设置batch_size和并行度参数，平衡迁移速度和系统负载

总结

Oracle到ClickHouse的数据迁移需要特别注意数据类型的兼容性问题。通过预先设计合理的表结构、配置适当的转换逻辑以及利用SeaTunnel的错误处理机制，可以有效解决非空列插入NULL值的问题。对于大规模迁移任务，自动化脚本和批量处理是提高效率的关键。