NPGSQL 中实现 EF Core 批量插入与冲突处理的技术方案

背景介绍

在使用 PostgreSQL 数据库和 Entity Framework Core 进行开发时，经常会遇到需要批量插入大量数据的场景。标准的 EF Core 方法对于大批量数据插入效率较低，而 PostgreSQL 提供了 COPY 命令这一高效的数据导入机制。同时，在实际应用中，我们还需要处理可能出现的键冲突情况。

技术挑战

在 EF Core 中直接使用批量插入并处理冲突存在以下技术难点：

1. EF Core 原生不支持 PostgreSQL 的 COPY 命令
2. 需要处理事务管理以确保数据一致性
3. 需要正确处理各种数据类型映射
4. 需要实现冲突处理机制（ON CONFLICT DO NOTHING）

解决方案架构

我们设计了一个基于临时表的批量插入方案，主要包含以下步骤：

1. 创建事务环境
2. 建立临时表结构
3. 使用二进制 COPY 命令高效导入数据
4. 将临时表数据插入目标表并处理冲突
5. 提交或回滚事务

核心实现细节

事务管理

await using var transaction = await context.Database.BeginTransactionAsync(cancellationToken);
try
{
    // 操作代码
    await transaction.CommitAsync(cancellationToken);
}
catch
{
    await transaction.RollbackAsync(cancellationToken);
    throw;
}

临时表创建

cmd.CommandText = $"CREATE TEMP TABLE tmp_{tableName} (LIKE {schema}.{tableName} INCLUDING DEFAULTS) ON COMMIT DROP";
await cmd.ExecuteNonQueryAsync(cancellationToken);

二进制数据导入

await using var writer = await connection.BeginBinaryImportAsync(
    $"COPY tmp_{tableName} ({columns}) FROM STDIN (FORMAT BINARY)",
    cancellationToken
);

数据类型处理

对于特殊数据类型（如 jsonb），需要显式指定 NpgsqlDbType：

if (typeMapping is NpgsqlTypeMapping npgsqlTypeMapping)
{
    await writer.WriteAsync(value, npgsqlTypeMapping.NpgsqlDbType, cancellationToken);
    continue;
}

最终插入与冲突处理

cmd.CommandText = 
    $"INSERT INTO {schema}.{tableName} SELECT * FROM tmp_{tableName} ON CONFLICT DO NOTHING";
var inserted = await cmd.ExecuteNonQueryAsync(cancellationToken);

性能优化建议

1. 对于大批量数据，可以考虑分批处理以避免内存压力
2. 对于已知的数据类型，预先确定 NpgsqlDbType 可以提高性能
3. 在事务外预先准备命令可以减少重复解析的开销

适用场景

该方案特别适合以下场景：

• 需要导入大量数据到 PostgreSQL 数据库
• 数据可能存在重复，需要忽略冲突记录
• 对导入性能有较高要求
• 需要保持数据一致性

注意事项

1. 确保连接字符串中包含足够的权限
2. 注意临时表在事务结束时会自动删除
3. 对于复杂数据类型需要特别处理类型映射
4. 在生产环境使用前应充分测试

通过这种方案，我们可以在 EF Core 环境中高效地实现 PostgreSQL 的批量数据导入功能，同时妥善处理可能的数据冲突问题。