Apache Doris 定时任务(CREATE JOB)详解与使用指南

什么是Doris定时任务

Apache Doris中的定时任务(JOB)是一种按照预定计划运行的任务机制，它能够在特定时间点或指定时间间隔触发预定义的操作，帮助我们自动化执行一些常规任务。从功能上看，它类似于操作系统中的定时任务(如Linux的cron或Windows的计划任务)，但它是数据库层面的实现，可以直接操作Doris中的数据。

定时任务类型

Doris支持两种类型的定时任务：

1. 一次性任务(ONE_TIME)：在指定的时间点触发执行，仅执行一次
2. 周期性任务(RECURRING)：在指定的时间间隔内循环触发，用于周期性执行的任务

周期性任务可以指定开始时间(STARTS)和结束时间(ENDS)。如果不指定开始时间，默认第一次执行时间是当前时间加上一个调度周期。如果指定了结束时间，当任务执行达到结束时间时(或超过结束时间，或下一个执行周期将超过结束时间)，任务状态会更新为FINISHED，不再生成新的任务。

任务状态机制

Doris定时任务有4种状态：

1. RUNNING：初始状态，任务会按照调度周期生成TASK执行
2. STOPPED：用户主动触发停止，正在运行的TASK会被取消
3. PAUSED：暂停状态，可以通过RESUME操作恢复为RUNNING状态
4. FINISHED：任务完成状态，系统会保留24小时后自动删除

任务执行会生成TASK，TASK有以下几种状态：

• PENDING：触发时间已到但等待资源分配
• RUNNING：资源分配后开始执行
• SUCCESS：执行成功
• FAILED：执行失败
• CANCELED：被取消状态

创建定时任务语法

CREATE
    JOB  
    <job_name>
    ON SCHEDULE <schedule>
    [ COMMENT <string> ]
    DO <sql_body> 

其中<schedule>可以是：

{ AT <at_timestamp> | EVERY <interval> [STARTS <start_timestamp> ] [ENDS <end_timestamp> ] }

时间间隔<interval>格式为：

quantity { WEEK | DAY | HOUR | MINUTE }

参数详解

必填参数

1. job_name：任务名称，在数据库中必须唯一。注意不能使用"inner_"前缀，该前缀保留给系统内部使用。

2. schedule：定义任务的调度方式，可以是一次性执行或周期性执行。

3. sql_body：任务触发时要执行的SQL语句。

可选参数

1. AT timestamp：用于一次性任务，指定任务在特定时间点执行一次。

2. EVERY interval：用于周期性任务，指定任务执行频率。

3. STARTS timestamp：指定周期性任务的开始时间。

4. ENDS timestamp：指定周期性任务的结束时间。

权限要求

执行CREATE JOB命令的用户必须至少具有以下权限：

权限	对象	说明
ADMIN_PRIV	数据库	目前仅支持ADMIN权限执行此操作

使用注意事项

1. 每个任务最多保留最近100条TASK记录
2. 目前仅支持INSERT内部表操作，未来会支持更多操作类型
3. 如果任务执行时间过长导致下一次调度时间到达时前一个任务仍在执行，系统会跳过当前调度
4. 合理设置任务执行间隔，确保间隔大于任务执行时间

实际应用示例

周期性数据同步

创建一个每分钟执行一次的定时任务，将db2.tbl2的数据同步到db1.tbl1：

CREATE JOB my_job ON SCHEDULE EVERY 1 MINUTE 
DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2;

一次性数据迁移

创建一个在特定时间点执行的一次性任务：

CREATE JOB my_job ON SCHEDULE AT '2023-01-01 00:00:00' 
DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2;

带时间范围的周期性任务

创建一个每天执行的任务，有明确的开始和结束时间：

CREATE JOB my_job ON SCHEDULE EVERY 1 DAY 
STARTS '2023-01-01 00:00:00' 
ENDS '2023-01-10 00:00:00'
DO INSERT INTO db1.tbl1 SELECT * FROM db2.tbl2 
WHERE create_time >= days_add(now(),-1);

最佳实践建议

1. 合理规划任务执行时间：避免大量任务在同一时间触发，造成系统资源紧张
2. 监控任务执行情况：定期检查任务执行状态和耗时，及时调整
3. 设置合理的保留策略：根据业务需求调整任务记录的保留数量
4. 考虑任务依赖关系：复杂的数据处理流程应考虑任务间的依赖和顺序

性能调优参数

在fe.conf配置文件中，可以调整以下参数优化定时任务性能：

1. job_dispatch_timer_job_thread_num：定时任务分发线程数，默认2，任务量大时可增加
2. job_dispatch_timer_job_queue_size：定时任务队列大小，默认1024，任务并发高时可增大
3. finished_job_cleanup_threshold_time_hour：已完成任务的清理时间阈值(小时)，默认24
4. job_insert_task_consumer_thread_num：Insert任务执行线程数，默认5，可适当增加

通过合理配置这些参数，可以显著提升定时任务的处理能力和系统稳定性。