Django-import-export 中使用复合主键处理多源数据导入

在实际业务场景中，我们经常需要从多个数据源导入数据到同一个数据库表中。这些数据源可能使用各自独立的ID系统，导致直接导入时会出现ID冲突。本文将介绍如何使用django-import-export库的复合主键功能来解决这一问题。

问题背景

假设我们有一个图书管理系统，需要从不同出版商处导入图书数据。每个出版商都使用自己的内部ID系统来标识图书（而非国际标准书号ISBN）。当我们需要将这些数据导入到同一个数据库表时，简单的图书ID字段无法保证全局唯一性。

解决方案

django-import-export库提供了处理这种情况的灵活机制。我们可以通过以下步骤实现：

1. 添加出版商标识字段：在模型中添加一个字段来标识数据来源的出版商
2. 使用复合主键：将出版商ID和图书ID组合作为唯一标识
3. 动态扩展数据集：在导入前动态添加出版商ID列

具体实现

模型资源类配置

首先，我们需要在Resource类中配置字段和导入ID字段：

class BookResource(resources.ModelResource):
    class Meta:
        model = Book
        fields = (
            "publisher_id",  # 出版商标识
            "book_num",      # 出版商提供的图书ID
            # 其他字段...
        )
        import_id_fields = (
            "publisher_id",  # 作为复合主键的一部分
            "book_num",       # 作为复合主键的另一部分
        )

动态添加数据列

由于出版商ID通常不会包含在原始数据文件中，我们需要在导入前动态添加这一列：

@override
def before_import(self, dataset, **kwargs):
    publisher_id = kwargs["publisher_id"]
    dataset.append_col(lambda row: publisher_id, "publisher_id")
    super().before_import(dataset, **kwargs)

这种方法利用了TabLib库的动态列功能，无需实际为每一行数据添加值，而是通过lambda函数在访问时动态生成。

技术原理

1. 复合主键处理：django-import-export会根据import_id_fields中指定的多个字段组合来识别记录是否已存在
2. 内存效率：使用lambda函数添加动态列不会立即消耗大量内存，只有当实际访问数据时才会计算值
3. 数据一致性：通过这种方式可以确保同一出版商的图书更新能正确匹配到已有记录

最佳实践建议

1. 数据预处理：对于非常大的数据集，考虑分批处理以避免内存问题
2. 字段选择：确保作为复合主键的字段组合能真正唯一标识记录
3. 性能监控：在实际生产环境中监控内存使用情况，必要时优化处理逻辑

通过这种复合主键的方法，我们可以优雅地解决多数据源导入时的ID冲突问题，同时保持代码的清晰和可维护性。