数据生成器使用手册

---

1. 目录结构及介绍

数据生成器是一个用于生成大数据测试标准数据的工具，特别适用于那些想要比较MySQL、GreenPlum、Elasticsearch等多种数据处理技术性能的场景。以下是该项目的基本目录结构和关键文件说明：

• src

  • main
    • java 包含主要的Java源代码，实现数据生成的核心逻辑。
    • resources
      • data_generator.sql: 可能包含用于初始化数据库的SQL脚本。
      • model_ddl.sql: 数据库模型定义语句。
      • es_mappings: Elasticsearch的映射配置。
      • hive_ddl.sql: Hive表的创建脚本。
      • sqoop.txt: Sqoop命令，用于将MySQL数据导入Hive。
      • config.txt: 配置文件，设置如数据量、数据库连接信息等。
      • 数据模型.png: 数据模型的可视化描述。

• pom.xml: Maven项目的构建配置文件。

• LICENSE: 开源许可证，Apache-2.0。

• README.md: 项目简介和使用说明。

2. 项目的启动文件介绍

项目核心的启动逻辑并不通过单一的“启动文件”来执行，而是通过Maven命令或直接运行jar包的方式来启动不同的任务。核心的执行流程不在一个特定的入口类，而是通过调用org.apdplat.data.generator.Start类的不同方法来完成，这些方法可以通过构建后的命令行指令来触发。例如，使用以下命令：

java -Xmx2g -Xms2g -cp data-generator-1.0-jar-with-dependencies.jar org.apdplat.data.generator.Start

但实际操作中，根据具体需求（如生成模拟数据、迁移MySQL数据到ES等），可能会有具体的子命令，比如：

java ... generator.Generator

以及一系列用于数据迁移至ES的操作命令。

3. 项目的配置文件介绍

配置位于项目根目录下的config.txt，该文件控制数据生成的重要参数，包括但不限于：

• batchSize: MySQL批量提交的记录数量。
• startYear, startMonth, startDay: 订单时间的起始日期。
• 各种计数器(customerCount, salesStaffCount, ...)定义了要生成的实体数量。
• 数据库和Elasticsearch的连接配置，包括URL、用户名、密码等。
• 是否异步多线程处理、ES索引策略等高级选项。

配置文件允许用户定制化生成数据的规模和目的地，确保数据生成符合特定的测试或开发环境需求。

---

以上就是《数据生成器使用手册》的主要内容，涵盖基本的项目结构理解、启动机制概览以及配置管理指导，帮助开发者快速上手此开源工具。