NocoBase数据导入功能的设计思考与实现建议

数据导入的业务场景分析

在NocoBase这样的低代码平台中，数据导入功能是企业级应用的高频需求。当前版本(v1.3.54-beta)的批量导入仅支持新增数据模式，这在实际业务中往往无法满足复杂场景。通过深入分析，我们发现数据导入主要存在三种核心场景：

1. 纯新增模式：仅插入系统中不存在的新记录（当前已实现）
2. 纯更新模式：仅修改系统中已存在的记录（基于唯一标识）
3. 混合模式：同时执行新增和更新操作（业界常称为"upsert"）

Sequelize框架的能力基础

作为底层ORM框架，Sequelize已提供了完善的批量操作支持：

• bulkCreate() 方法支持纯新增
• update() 配合where条件可实现批量更新
• upsert() 方法原生支持混合模式（v6+版本）

// Sequelize upsert示例
Model.upsert({
  uniqueKey: 'value',
  otherField: 'newValue'
})

架构设计建议

建议在Repository层实现三重导入策略，通过策略模式封装不同行为：

interface ImportStrategy {
  execute(data: any[]): Promise<ImportResult>;
}

class AddOnlyStrategy implements ImportStrategy {
  // 实现纯新增逻辑
}

class UpdateOnlyStrategy implements ImportStrategy {
  // 实现纯更新逻辑
}

class UpsertStrategy implements ImportStrategy {
  // 实现混合模式逻辑
}

关键技术实现要点

1. 唯一标识处理
   需要明确业务唯一键（自然键或代理键），建议支持多字段组合唯一键配置

2. 事务控制
   批量操作必须使用数据库事务保证原子性

3. 性能优化

   • 分批处理大数据量（如每1000条一个批次）
   • 并行处理非依赖数据
   • 预处理数据验证

4. 结果反馈
   返回结构化结果对象：

   interface ImportResult {
     total: number;
     added: number;
     updated: number;
     skipped: number;
     errors: Array<{
       row: number;
       message: string;
     }>;
   }
   

前端交互设计建议

1. 模式选择器（单选按钮组）：

   • ☑️ 仅新增记录
   • ☑️ 仅更新现有记录
   • ☑️ 更新并新增记录

2. 字段映射界面增强：

   • 高亮标记唯一标识字段
   • 提供默认值设置区域
   • 冲突处理策略选项（覆盖/跳过/报错）

版本规划建议

该功能建议分阶段发布：

1. 基础版（v1.4）：支持三种基础模式
2. 增强版（v1.5）：增加预处理验证、错误恢复机制
3. 高级版（v1.6）：支持关联数据导入、异步导入任务

总结

完善的数据导入功能是NocoBase向企业级应用迈进的关键一步。通过分层架构设计和策略模式的应用，可以构建出灵活且健壮的导入系统。建议在保持Sequelize基础能力的同时，增加业务语义层抽象，使API更符合领域语言，最终实现既能满足简单场景又可扩展支持复杂需求的数据导入体系。