Apache Airflow 数据库迁移中的DAG版本化问题解析

问题背景

在Apache Airflow从2.10.5版本升级到3.0.0rc4的过程中，数据库迁移阶段出现了一个关键错误。具体表现为在执行"add dag versioning"（添加DAG版本控制）的迁移步骤时，系统尝试修改dag_code表中的dag_id字段为非空约束，但发现表中已存在dag_id为null的记录，导致迁移失败。

技术细节分析

这个迁移步骤的核心目的是为Airflow引入DAG版本控制功能。在实现上，它需要确保dag_code表中的dag_id字段具有非空约束，因为版本控制功能需要明确每个代码记录与特定DAG的关联关系。

错误发生的根本原因是数据库中存在一些"孤儿"记录——这些记录在dag_code表中存在，但在serialized_dag表中没有对应的DAG定义。这种情况可能由以下原因导致：

1. 历史遗留问题：在Airflow的长期使用过程中，某些DAG可能被删除，但相关的代码记录未被清理
2. 迁移过程中的不一致：在之前的版本升级或操作中，可能没有完全同步两个表的数据
3. 异常操作：如直接数据库操作或非标准流程的DAG删除

解决方案

经过社区讨论，确认了一个有效的解决方案：

DELETE FROM dag_code WHERE fileloc_hash NOT IN (SELECT fileloc_hash FROM serialized_dag);

这条SQL语句的作用是清理dag_code表中那些在serialized_dag表中没有对应记录的"孤儿"条目。通过fileloc_hash字段（存储DAG文件位置哈希值）建立两个表之间的关联关系。

实施建议

对于生产环境升级，建议采取以下步骤：

1. 首先在测试环境验证此解决方案
2. 执行清理前，备份dag_code表数据
3. 评估将被删除的记录数量及其影响
4. 确认这些记录确实是不再需要的"孤儿"记录
5. 在维护窗口期执行升级操作

技术启示

这个问题揭示了数据库迁移中几个重要考量点：

1. 数据一致性检查在迁移前的重要性
2. 非空约束添加时的数据验证需求
3. 分布式系统中数据关联完整性的维护挑战

对于Airflow这样的工作流管理系统，DAG定义与其代码存储之间的关联完整性至关重要。这次问题的解决不仅修复了迁移障碍，也帮助清理了可能影响系统性能的冗余数据。

总结

数据库迁移是系统升级中最关键的环节之一。Apache Airflow 3.0.0引入的DAG版本控制功能虽然带来了这个迁移挑战，但通过合理的解决方案，用户可以顺利完成升级。这个案例也提醒我们，在长期运行的生产系统中，定期维护和数据清理是保证系统健康的重要实践。