ChunJun数据同步工具通用配置全面解析

一、ChunJun配置文件概述

ChunJun作为一款高效的数据同步工具，其核心功能通过JSON格式的配置文件来实现。一个完整的配置文件由两大核心部分组成：content和setting。

1.1 配置文件基本结构

{
  "job": {
    "content": [
      {
        "reader": {},
        "writer": {}
      }
    ],
    "setting": {
      "speed": {},
      "errorLimit": {},
      "metricPluginConf": {},
      "restore": {},
      "log": {},
      "dirty": {}
    }
  }
}

1.2 配置模块功能说明

模块类别	配置项	功能描述	必填性
content	reader	数据输入源配置	必填
	writer	数据输出目标配置	必填
setting	speed	任务并发与速率控制	可选
	errorLimit	错误记录控制	可选
	metricPluginConf	监控指标配置	可选
	restore	断点续传配置	可选
	log	日志记录配置	可选
	dirty	脏数据处理配置	可选

二、数据源配置详解

2.1 Reader输入源配置

Reader模块定义了数据来源的配置，支持多种数据源类型：

"reader": {
  "name": "mysqlreader",
  "parameter": {
    "username": "root",
    "password": "123456",
    "connection": [
      {
        "jdbcUrl": ["jdbc:mysql://127.0.0.1:3306/test"],
        "table": ["user"]
      }
    ]
  }
}

关键参数说明：

• name：指定数据源类型，如mysqlreader、oraclereader等
• parameter：包含数据源连接的具体参数，不同数据源参数不同

2.2 Writer输出目标配置

Writer模块定义了数据写入目标的配置：

"writer": {
  "name": "hdfswriter",
  "parameter": {
    "path": "/user/hive/warehouse/test",
    "fileName": "data",
    "writeMode": "append"
  }
}

关键参数说明：

• name：指定输出目标类型，如hdfswriter、mysqlwriter等
• parameter：包含目标存储的具体参数，不同存储系统参数不同

三、任务控制配置详解

3.1 并发与速率控制(speed)

"speed": {
  "channel": 3,
  "readerChannel": 2,
  "writerChannel": 2,
  "bytes": 1048576,
  "rebalance": false
}

参数详解：

• channel：全局并发数，控制任务整体并行度
• readerChannel/writerChannel：可单独设置读写并行度，-1表示使用全局设置
• bytes：限速设置，单位字节/秒，0表示不限速
• rebalance：是否强制数据重平衡，影响性能但可改善数据倾斜

3.2 错误控制(errorLimit)

"errorLimit": {
  "record": 1000,
  "percentage": 1.0
}

错误处理策略：

• 两种错误阈值可同时配置，任一条件触发即任务失败
• record：绝对错误记录数阈值
• percentage：错误记录百分比阈值(0.0-100.0)

四、高级功能配置

4.1 监控指标配置(metricPluginConf)

支持将任务指标输出到监控系统：

Prometheus配置示例

"metricPluginConf": {
  "pluginName": "promethus"
}

需配合Flink配置文件设置Prometheus连接参数

MySQL配置示例

"metricPluginConf": {
  "pluginName": "mysql",
  "pluginProp": {
    "jdbcUrl": "jdbc:mysql://localhost:3306/metrics",
    "table": "job_metrics",
    "username": "root",
    "password": "123456"
  }
}

4.2 断点续传配置(restore)

"restore": {
  "isStream": false,
  "isRestore": true,
  "restoreColumnName": "update_time",
  "restoreColumnIndex": 5
}

关键点说明：

• isStream：标识是否为实时任务
• 断点续传需指定检查点字段（名称或索引位置）
• 适用于增量同步场景，确保任务中断后能从断点恢复

4.3 日志配置(log)

"log": {
  "isLogger": true,
  "level": "debug",
  "path": "/var/log/chunjun/",
  "pattern": "%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n"
}

日志级别说明：

• 支持trace/debug/info/warn/error等级别
• 生产环境建议使用info级别
• 调试时可使用debug获取更详细日志

五、最佳实践建议

1. 性能调优：根据数据量合理设置channel参数，一般建议从较小值开始逐步增加

2. 错误处理：对于重要数据，建议设置较严格的errorLimit；对于可容忍少量错误的数据可适当放宽

3. 监控配置：生产环境建议配置metricPluginConf，便于实时掌握任务运行状态

4. 断点续传：对于大数据量同步任务，务必配置restore参数确保数据一致性

5. 日志管理：长期运行任务建议配置日志轮转策略，避免日志文件过大

通过合理配置这些参数，可以充分发挥ChunJun在大数据同步场景下的性能优势，同时确保数据同步的可靠性和稳定性。