Django CSV Import 技术文档

概述

django-csvimport 是一个通用的 CSV 文件导入工具，允许用户上传 CSV 文件以填充数据。该工具通过安装一个包含文件上传字段的 csvimport 模型来实现数据导入功能。用户可以通过上传逗号分隔值文件或 MS Excel 文件来触发导入机制，系统会自动匹配文件中的字段名与所选模型的字段，并导入包含所有必填字段的行。

安装指南

安装步骤

1. 使用 pip 安装 django-csvimport：

   pip install django-csvimport
   

2. 在项目的 settings.py 文件中，将 csvimport.app.CSVImportConf 添加到 INSTALLED_APPS 中：

   INSTALLED_APPS = (
       ...
       'csvimport.app.CSVImportConf',  # 使用 AppConfig 适用于 Django >=1.7 和 csvimport >=2.2
   )
   

3. 运行数据库迁移命令：

   python manage.py migrate
   

   如果使用的是 Django 1.9 之前的版本，请使用 syncdb 命令。

项目的使用说明

通过管理界面导入数据

1. 在 Django 管理界面中，添加一个新的 csvimport 条目。
2. 填写表单并上传 CSV 文件。
3. 提交表单后，系统会自动导入数据。导入失败的行将被记录在日志字段中。

通过命令行导入数据

使用 importcsv 命令可以通过命令行导入 CSV 文件：

manage.py importcsv --mappings='' --model='app_label.model_name' --delimiter='\t' importfile.csv

• --mappings：指定字段映射关系，例如 --mappings='1=shared_code,2=org(otherapp.Organisation|name),3=date'。
• --model：指定目标模型的名称。
• --delimiter：指定 CSV 文件的分隔符，默认为制表符。

生成模型代码

使用 inspectcsv 命令可以从 CSV 文件生成模型代码：

manage.py inspectcsv importfile.csv > models.py

生成的模型代码可以添加到应用中，并通过 makemigrations 和 migrate 命令进行数据库迁移。

项目 API 使用文档

自定义命令

inspectcsv

该命令用于从 CSV 文件生成模型代码：

manage.py inspectcsv importfile.csv > models.py

importcsv

该命令用于导入 CSV 文件数据：

manage.py importcsv --mappings='' --model='app_label.model_name' --delimiter='\t' importfile.csv

外键处理

csvimport 无法自动处理复杂的表关系。如果模型中包含外键字段，可以通过 mappings 参数指定外键关系。例如：

--mappings='column2=org(Organisation|name)'

日期时间处理

导入器使用 dateparser 来处理 CSV 文件中的日期时间类型。可以通过设置 DATEPARSER_SETTINGS 环境变量来配置日期解析行为。

项目安装方式

演示安装

1. 创建虚拟环境并安装 Django 和 django-csvimport：

   virtualenv mysite
   cd mysite
   pip install django
   pip install django-csvimport
   

2. 创建 django-admin.py 脚本并运行迁移命令：

   cat > bin/django-admin.py << EOF
   #!/usr/bin/env python
   from django.core import management
   import os
   os.environ["DJANGO_SETTINGS_MODULE"] = "csvimport.settings"
   if __name__ == "__main__":
       management.execute_from_command_line()
   EOF
   
   django-admin.py migrate
   django-admin.py runserver
   

3. 访问 http://127.0.0.1:8000/admin/，上传 CSV 文件并查看导入结果。

测试

运行以下命令以执行 django-csvimport 的测试：

bin/python3 -m django test --settings='csvimport.settings' csvimport.tests

总结

django-csvimport 是一个功能强大的 CSV 文件导入工具，适用于 Django 项目中的数据导入需求。通过管理界面或命令行，用户可以轻松地将 CSV 文件中的数据导入到数据库中。此外，工具还提供了生成模型代码的功能，方便用户快速创建与 CSV 文件结构匹配的数据库模型。