Flink 文件系统 SQL 连接器(FileSystem Connector)完整实战指南:分区读写、流式 Sink 与分区提交机制解析

原创2026-09-19 14:07:211,839 阅读
文章标签:后端大数据流处理批处理

Flink 文件系统 SQL 连接器(FileSystem Connector)完整实战指南:分区读写、流式 Sink 与分区提交机制解析

文件系统 SQL 连接器是 Flink Table API / SQL 生态中用于对接本地与分布式文件系统的内置连接器,它基于 Flink 的 FileSystem 抽象为分区文件提供读写能力,支持 CSV、JSON、Avro、Parquet、ORC 等多种格式,并在流式写入场景下提供滚动策略、文件合并与分区提交等高级机制。读完本文,你将掌握如何用一条 CREATE TABLE 定义文件系统表、如何利用目录结构自动发现分区、如何配置目录监控实现无界读取,以及如何组合触发器(Trigger)与策略(Policy)实现精确到分区级别的提交通知。

连接器概览与基础建表

文件系统连接器提供了对 Flink FileSystem 抽象 支持的文件系统中分区文件的访问能力。它已内置于 Flink 发行包中,不需要额外添加依赖,相应的 jar 包位于 Flink 工程项目的 lib 目录下。不过在使用前,请确保集群中已包含对应的 Flink FileSystem 特定依赖(例如访问 S3、OSS、GCS 时需要对应的插件包)。

从文件系统中读取或向文件系统中写入行数据时,必须指定相应的 format。文件系统表可以通过如下 DDL 定义:

CREATE TABLE MyUserTable (
  column_name1 INT,
  column_name2 STRING,
  ...
  part_name1 INT,
  part_name2 STRING
) PARTITIONED BY (part_name1, part_name2) WITH (
  'connector' = 'filesystem',           -- 必选:指定连接器类型
  'path' = 'file:///path/to/whatever',  -- 必选:指定路径
  'format' = '...',                     -- 必选:文件系统连接器指定 format
                                        -- 有关更多详情,请参考 Table Formats
  'partition.default-name' = '...',     -- 可选:默认的分区名,动态分区模式下分区字段值是 null 或空字符串
  'source.path.regex-pattern' = '...',  -- 可选: 指定用于匹配需要读取文件的绝对路径的正则表达式,配置后连接器
                                        -- 会遍历 path 配置项的目录下的全部文件进行匹配

  -- 可选:该属性开启了在 sink 阶段通过动态分区字段来 shuffle 数据,该功能可以大大减少文件系统 sink 的文件数,但是可能会导致数据倾斜,默认值是 false
  'sink.shuffle-by-partition.enable' = '...',
  ...
)

在源码层面,连接器的标识符 filesystem 及其必选/可选配置项的注册位于 FileSystemTableFactory.java:factoryIdentifier() 返回 "filesystem",requiredOptions() 强制要求 path 与 format 两个配置项,其余全部为可选项。所有配置项的键名、类型与默认值集中定义在 FileSystemConnectorOptions.java 中,本文后续章节会逐一对照该文件展开说明。

注意:文件系统连接器的特性与旧的 legacy filesystem connector 有很大不同:path 属性指定的是目录而不是文件,并且该目录下的文件也不是肉眼可读的。

分区文件:基于目录结构的自动分区发现

Flink 文件系统连接器支持分区,并沿用了标准 Hive 的分区语义。与 Hive 不同的是,不需要预先将分区注册到 table catalog,连接器会基于目录结构自动完成分区发现。例如,根据下面的目录结构,分区表将被推断包含 datetime 和 hour 两个分区字段:

path
└── datetime=2019-08-25
    └── hour=11
        ├── part-0.parquet
        ├── part-1.parquet
    └── hour=12
        ├── part-0.parquet
└── datetime=2019-08-26
    └── hour=6
        ├── part-0.parquet

文件系统表支持分区新增插入(INSERT INTO)和分区覆盖插入(INSERT OVERWRITE),相关语法请参考 INSERT Statement。当对分区表执行分区覆盖插入时,只有相应的分区会被覆盖,而不是覆盖整个表。

这一行为在 FileSystemTableFactory.java 的类注释中有明确说明:分区信息应体现在文件系统路径中(无论临时表还是 catalog 表),连接器同时支持追加插入(insert into)与覆盖插入(insert overwrite),以及静态分区和动态分区插入。

支持的 File Formats

文件系统连接器支持多种 format:

从源码结构看,连接器把 format 分为两类能力进行加载:BulkReaderFormatFactory / BulkWriterFormatFactory 负责 Parquet、ORC、Avro 这类批量(bulk)格式,DeserializationFormatFactory / SerializationFormatFactory 负责 CSV、JSON、Raw 这类行(row)格式,详见 FileSystemTableFactory.java 中的 discoverDecodingFormat / discoverEncodingFormat 调用。各格式的详细参数可参考 Table Formats 概览。

Source:读取单个文件或整个目录

文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。当使用目录作为 source 路径时,对目录中的文件进行无序的读取。

目录监控(无界读取)

默认情况下,文件系统连接器是有界的,即只会扫描配置路径一遍后就会停止。如果需要持续读取新出现的文件,可以通过设置 source.monitor-interval 属性开启目录监控:

键 默认值 类型 描述
source.monitor-interval (无) Duration 设置新文件的监控时间间隔,必须设置 > 0 的值。每个文件都由其路径唯一标识,一旦发现新文件,就会处理一次。已处理的文件在 source 的整个生命周期内存储在 state 中,因此 source 的 state 会随 checkpoint 和 savepoint 一起保存。更短的时间间隔意味着文件被更快地发现,但也意味着更频繁地遍历文件系统/对象存储。如果未设置此配置选项,则提供的路径仅被扫描一次,源将是有界的。

该配置项在 FileSystemConnectorOptions.java 中通过 SOURCE_MONITOR_INTERVAL 定义,采用 Duration 类型、无默认值。另外,同文件中的 SOURCE_PATH_REGEX_PATTERN(对应 source.path.regex-pattern)允许用正则表达式过滤 path 目录下需要读取的文件,该正则需匹配文件的绝对路径,隐藏文件和隐藏目录不会被匹配。

可用的 Metadata 列

以下连接器 metadata 可以在表定义时作为 metadata 列进行访问,所有 metadata 都是只读的:

键 数据类型 描述
file.path STRING NOT NULL 输入文件的完整路径。
file.name STRING NOT NULL 文件名,即距离文件根路径最远的元素。
file.size BIGINT NOT NULL 文件的字节数。
file.modification-time TIMESTAMP_LTZ(3) NOT NULL 文件的修改时间。

扩展的 CREATE TABLE 示例演示了标识某个字段为 metadata 的语法:

CREATE TABLE MyUserTableWithFilepath (
  column_name1 INT,
  column_name2 STRING,
  `file.path` STRING NOT NULL METADATA
) WITH (
  'connector' = 'filesystem',
  'path' = 'file:///path/to/whatever',
  'format' = 'json'
)

Streaming Sink:流式写入文件系统

文件系统连接器支持流写入,底层基于 Flink 的 文件系统(DataStream) 能力实现。其中 CSV 和 JSON 使用 Row-encoded Format,Parquet、ORC 和 Avro 使用 Bulk-encoded Format。

可以直接编写 SQL 将流数据插入到非分区表;如果是分区表,可以配置分区操作相关的属性,详见下文 分区提交 章节。

滚动策略(Rolling Policy)

分区目录下的数据被分割到 part 文件中。每个分区对应的 sink 接收数据的 subtask 至少会为该分区生成一个 part 文件。根据可配置的滚动策略,当前 in-progress(进行中)的 part 文件将被关闭并生成新的 part 文件。该策略基于文件大小和文件可被打开的最大时长来滚动 part 文件:

键 默认值 类型 描述
sink.rolling-policy.file-size 128MB MemorySize 滚动前,part 文件的最大大小。
sink.rolling-policy.rollover-interval 30 min Duration 滚动前,part 文件处于打开状态的最大时长(默认 30 分钟,以避免产生大量小文件)。检查频率由 sink.rolling-policy.check-interval 属性控制。
sink.rolling-policy.check-interval 1 min Duration 基于时间的滚动策略的检查间隔。该属性控制基于 sink.rolling-policy.rollover-interval 属性检查文件是否该被滚动的检查频率。

注意: 对于 bulk formats(parquet、orc、avro),滚动策略与 checkpoint 间隔(pending 状态的文件会在下个 checkpoint 完成)共同决定了 part 文件的大小和个数。

注意: 对于 row formats(csv、json),如果想使分区文件更快在文件系统中可见,可以设置 sink.rolling-policy.file-size 或 sink.rolling-policy.rollover-interval 属性,以及在 Flink 配置文件 中配置 execution.checkpointing.interval 属性。对于其他 formats(avro、orc),可以只设置 Flink 配置文件 中的 execution.checkpointing.interval 属性。

上述三个配置项在源码 FileSystemConnectorOptions.java 中的默认值分别为 MemorySize.ofMebiBytes(128)、Duration.ofMinutes(30) 与 Duration.ofMinutes(1),与表格一致。此外源码中还提供了 sink.rolling-policy.inactivity-interval(默认 30 分钟)——part 文件在无写入(inactive)状态下的最大保持时长,同样受 sink.rolling-policy.check-interval 控制。

文件合并(自动压缩小文件)

file sink 支持文件合并(auto-compaction),允许应用程序使用较小的 checkpoint 间隔而不产生大量小文件:

键 默认值 类型 描述
auto-compaction false Boolean 在流式 sink 中是否开启自动合并功能。数据首先被写入临时文件。当 checkpoint 完成后,该检查点产生的临时文件会被合并。这些临时文件在合并前不可见。
compaction.file-size (无) MemorySize 合并目标文件大小,默认值为滚动文件大小。

如果启用文件合并功能,会根据目标文件大小将多个小文件合并成大文件。在生产环境中使用文件合并功能时,需要注意:

  • 只有 checkpoint 内部的(pending)文件才会被合并,至少生成的文件个数与 checkpoint 个数相同;
  • 合并前文件不可见,因此文件的可见时间为:checkpoint 间隔时长 + 合并时长;
  • 如果合并时间过长,将导致反压,延长 checkpoint 所需时间。

在源码中,auto-compaction 与 compaction.file-size 分别对应 FileSystemConnectorOptions.java 的 AUTO_COMPACTION(默认 false)与 COMPACTION_FILE_SIZE(无默认值,缺省时取滚动文件大小)。另有 compaction.parallelism 可自定义批模式下合并算子的并行度。

分区提交(Partition Commit)

数据写入分区之后,通常需要通知下游应用。例如在 Hive metadata 中新增分区,或者在目录下生成 _SUCCESS 文件。分区提交策略是可定制的,具体提交行为基于 triggers(触发器) 和 policies(策略) 的组合:

  • Trigger(触发器):决定分区提交时机,可以基于从分区中提取的时间对应的 watermark,也可以基于处理时间。
  • Policy(策略):决定提交时的具体动作,内置策略包括生成 _SUCCESS 文件、提交 Hive metastore,也可以实现自定义策略,例如触发 Hive 生成统计信息、合并小文件等。

注意: 分区提交仅在动态分区插入模式下才有效。

分区提交触发器(Trigger)

通过配置分区提交触发策略,来决定何时提交分区:

键 默认值 类型 描述
sink.partition-commit.trigger process-time String 分区提交触发器类型:
process-time:基于机器时间,既不需要分区时间提取器也不需要 watermark 生成器。一旦"当前系统时间"超过了"分区创建系统时间"与 sink.partition-commit.delay 之和,立即提交分区。
partition-time:基于提取的分区时间,需要 watermark 生成。一旦 watermark 超过了"分区创建系统时间"与 sink.partition-commit.delay 之和,立即提交分区。
sink.partition-commit.delay 0 s Duration 该延迟时间之前分区不会被提交。如果是按天分区,可以设置为 1 d;如果是按小时分区,应设置为 1 h。
sink.partition-commit.watermark-time-zone UTC String 解析 Long 类型的 watermark 到 TIMESTAMP 类型时所采用的时区,解析得到的 watermark 的 TIMESTAMP 会被用来与分区时间进行比较以判断是否该被提交。该属性仅当 sink.partition-commit.trigger 设置为 partition-time 时有效。如果该属性设置不正确——例如在 TIMESTAMP_LTZ 类型的列上定义了 source rowtime 却没有设置该属性——用户可能会在若干个小时后才看到分区的提交。默认值为 UTC,意味着 watermark 定义在 TIMESTAMP 类型的列上或者没有定义 watermark。如果 watermark 定义在 TIMESTAMP_LTZ 类型的列上,watermark 时区必须是会话时区(session time zone)。可选值要么是完整的时区名如 America/Los_Angeles,要么是自定义时区如 GMT-08:00。

Flink 提供了两种类型的分区提交触发器:

  • 第一种:基于分区的处理时间。既不需要额外的分区时间,也不需要 watermark 生成。这种触发器基于分区创建时间和当前系统时间判断,更具通用性,但不够精确——例如数据延迟或故障将导致过早提交分区。
  • 第二种:基于从分区字段提取的时间以及 watermark。这要求 job 支持 watermark 生成,且分区是根据时间切割的(例如按小时或按天分区)。

针对不同需求,官方给出了三种典型配置组合:

1. 不管分区数据是否完整,只想让下游尽快感知到分区:

'sink.partition-commit.trigger' = 'process-time'   -- 默认值
'sink.partition-commit.delay' = '0s'               -- 默认值

一旦数据进入分区,将立即提交分区。注意:这个分区可能会被提交多次。

2. 想让下游只有在分区数据完整时才感知到分区,且 job 中有 watermark 生成,也能从分区字段值中提取到时间:

'sink.partition-commit.trigger' = 'partition-time'
'sink.partition-commit.delay' = '1h'               -- 按小时分区可配置为 '1h'

这是最精准的提交方式,能尽力确保提交时分区数据完整。

3. 想让下游系统只有在数据完整时才感知到分区,但没有 watermark,或无法从分区字段值中提取时间:

'sink.partition-commit.trigger' = 'process-time'   -- 默认值
'sink.partition-commit.delay' = '1h'               -- 按小时分区可配置为 '1h'

该方式尽量精确地提交分区,但数据延迟或故障仍将导致过早提交分区。

延迟数据的处理:延迟的记录会被写入到已经提交的对应分区中,且会再次触发该分区的提交。

从源码看,触发器类型定义在 FileSystemConnectorOptions.java 的枚举 PartitionCommitTriggerType 中,其默认值正是 PROCESS_TIME;而 sink.partition-commit.watermark-time-zone 默认值 UTC 以及时区解析语义也与其描述完全一致。

分区时间提取器(Partition Time Extractor)

时间提取器从分区字段值中提取时间:

键 默认值 类型 描述
partition.time-extractor.kind default String 从分区字段中提取时间的时间提取器。支持 default 和 custom。默认情况下,可以配置 timestamp pattern/formatter;对于 custom,应指定提取器类。
partition.time-extractor.class (无) String 实现 PartitionTimeExtractor 接口的提取器类。
partition.time-extractor.timestamp-pattern (无) String 允许用户使用分区字段来获取合法 timestamp pattern 的默认 construction 方式。默认支持从第一个字段按 yyyy-MM-dd hh:mm:ss 模式提取。如果需要从一个分区字段 dt 提取 timestamp,可以配置为 $dt;如果需要从多个分区字段(如 year、month、day、hour)提取 timestamp,可以配置为 $year-$month-$day $hour:00:00;如果需要从两个分区字段 dt 和 hour 提取 timestamp,可以配置为 $dt $hour:00:00。
partition.time-extractor.timestamp-formatter yyyy-MM-dd HH:mm:ss String 将分区 timestamp 字符串值转换为 timestamp 的 formatter,分区 timestamp 字符串值通过 partition.time-extractor.timestamp-pattern 属性表达。例如,分区 timestamp 提取自多个分区字段 year、month、day,可以配置 partition.time-extractor.timestamp-pattern 为 $year$month$day,并配置 partition.time-extractor.timestamp-formatter 为 yyyyMMdd。默认 formatter 为 yyyy-MM-dd HH:mm:ss。该 formatter 与 Java 的 DateTimeFormatter 通用。

默认情况下,提取器基于由分区字段组成的 timestamp pattern。也可以指定一个实现接口 PartitionTimeExtractor 的自定义提取器:

public class HourPartTimeExtractor implements PartitionTimeExtractor {
    @Override
    public LocalDateTime extract(List<String> keys, List<String> values) {
        String dt = values.get(0);
        String hour = values.get(1);
        return Timestamp.valueOf(dt + " " + hour + ":00:00").toLocalDateTime();
    }
}

该接口定义于 PartitionTimeExtractor.java,是一个 Serializable 接口,其 create 静态方法按 default / custom 两种 kind 分别创建 DefaultPartTimeExtractor 或通过用户类加载器反射实例化自定义提取器类,类名由 partition.time-extractor.class 指定。

分区提交策略(Policy)

分区提交策略定义了提交分区时的具体操作:

  • 第一种是 metastore(元数据存储)策略:仅 Hive 表支持,该策略下文件系统通过目录层次结构来管理分区。
  • 第二种是 success-file 策略:该策略会在分区对应的目录下生成一个名为 _SUCCESS 的空文件。
键 默认值 类型 描述
sink.partition-commit.policy.kind (无) String 分区提交策略,用于通知下游某个分区已经写完、可以被读取。
metastore:向 metadata 增加分区,仅 Hive 表支持,文件系统通过目录结构管理分区;
success-file:在目录中增加 _SUCCESS 文件;
上述两个策略可以同时指定:'metastore,success-file';
custom:通过指定的类来创建提交策略。
支持同时指定多个提交策略。
sink.partition-commit.policy.class (无) String 实现 PartitionCommitPolicy 接口的分区提交策略类。仅在 custom 提交策略下使用。
sink.partition-commit.policy.class.parameters (无) String 传入 custom 提交策略类的字符串参数,多个参数之间用分号分隔,如 'param1;param2'。该字符串会被切分为列表(['param1','param2'])并传给 custom 提交策略类的构造器。该项可选,不配置的话使用类的默认构造方法。
sink.partition-commit.success-file.name _SUCCESS String 使用 success-file 分区提交策略时的文件名,默认值为 _SUCCESS。

也可以自定义提交策略,例如在提交时向 Hive 添加分区并触发统计信息分析:

public class AnalysisCommitPolicy implements PartitionCommitPolicy {
    private HiveShell hiveShell;

    @Override
    public void commit(Context context) throws Exception {
        if (hiveShell == null) {
            hiveShell = createHiveShell(context.catalogName());
        }

        hiveShell.execute(String.format(
            "ALTER TABLE %s ADD IF NOT EXISTS PARTITION (%s = '%s') location '%s'",
            context.tableName(),
            context.partitionKeys().get(0),
            context.partitionValues().get(0),
            context.partitionPath()));
        hiveShell.execute(String.format(
            "ANALYZE TABLE %s PARTITION (%s = '%s') COMPUTE STATISTICS FOR COLUMNS",
            context.tableName(),
            context.partitionKeys().get(0),
            context.partitionValues().get(0)));
    }
}

源码级实现印证:PartitionCommitPolicy 接口定义于 PartitionCommitPolicy.java,其 Javadoc 明确指出——commit 方法必须是幂等的(idempotent),因为同一个分区可能被提交多次;这正好对应前文"process-time + delay=0s 时分区可能被多次提交"的语义。Context 接口向策略实现暴露了 catalogName()、databaseName()、tableName()、partitionKeys()、partitionValues()、partitionPath() 以及默认方法 partitionSpec() 等分区与表信息,自定义策略正是基于这些上下文完成提交动作。

内置策略中,success-file 由 SuccessFileCommitPolicy.java 实现:它在 context.partitionPath() 下以 OVERWRITE 写模式创建配置好的空文件名(默认 _SUCCESS)并立即关闭,以此标记分区提交完成;metastore 由 MetastoreCommitPolicy.java 实现:若分区已存在会先记录 warn 日志,随后调用 metaStore.createOrAlterPartition 创建或修改分区元数据。此外,PartitionCommitPolicy.java 中的 validatePolicyChain 会在非 Hive 表上配置 metastore 策略时抛出 ValidationException,即普通文件系统表只能使用 success-file 或 custom 策略。

Sink Parallelism

在流模式和批模式下,向外部文件系统(包括 Hive)写文件时的 parallelism 可以通过相应的 table 配置项指定。默认情况下,该 sink parallelism 与上游 chained operator 的 parallelism 相同。当配置了与上游 chained operator 不同的 parallelism 时,写文件和合并文件的算子(如果开启的话)会使用指定的 sink parallelism:

键 默认值 类型 描述
sink.parallelism (无) Integer 将文件写入外部文件系统的 parallelism。该值应大于 0,否则抛出异常。

注意: 目前,当且仅当上游的 changelog 模式为 INSERT-ONLY 时,才支持配置 sink parallelism;否则程序会抛出异常。

完整示例:Kafka 流式写入文件系统 + 批式读取

以下示例展示了如何使用文件系统连接器编写流式查询语句,将数据从 Kafka 写入文件系统,然后运行批式查询语句读取数据:

CREATE TABLE kafka_table (
  user_id STRING,
  order_amount DOUBLE,
  log_ts TIMESTAMP(3),
  WATERMARK FOR log_ts AS log_ts - INTERVAL '5' SECOND
) WITH (...);

CREATE TABLE fs_table (
  user_id STRING,
  order_amount DOUBLE,
  dt STRING,
  `hour` STRING
) PARTITIONED BY (dt, `hour`) WITH (
  'connector'='filesystem',
  'path'='...',
  'format'='parquet',
  'sink.partition-commit.delay'='1 h',
  'sink.partition-commit.policy.kind'='success-file'
);

-- 流式 sql,插入文件系统表
INSERT INTO fs_table
SELECT
    user_id,
    order_amount,
    DATE_FORMAT(log_ts, 'yyyy-MM-dd'),
    DATE_FORMAT(log_ts, 'HH')
FROM kafka_table;

-- 批式 sql,使用分区修剪进行选择
SELECT * FROM fs_table WHERE dt='2020-05-20' and `hour`='12';

TIMESTAMP_LTZ 水位线场景

如果 watermark 被定义在 TIMESTAMP_LTZ 类型的列上,并且使用 partition-time 模式进行提交,sink.partition-commit.watermark-time-zone 属性需要设置成会话时区,否则分区提交可能会延迟若干个小时:

CREATE TABLE kafka_table (
  user_id STRING,
  order_amount DOUBLE,
  ts BIGINT, -- 以毫秒为单位的时间
  ts_ltz AS TO_TIMESTAMP_LTZ(ts, 3),
  WATERMARK FOR ts_ltz AS ts_ltz - INTERVAL '5' SECOND -- 在 TIMESTAMP_LTZ 列上定义 watermark
) WITH (...);

CREATE TABLE fs_table (
  user_id STRING,
  order_amount DOUBLE,
  dt STRING,
  `hour` STRING
) PARTITIONED BY (dt, `hour`) WITH (
  'connector'='filesystem',
  'path'='...',
  'format'='parquet',
  'partition.time-extractor.timestamp-pattern'='$dt $hour:00:00',
  'sink.partition-commit.delay'='1 h',
  'sink.partition-commit.trigger'='partition-time',
  'sink.partition-commit.watermark-time-zone'='Asia/Shanghai', -- 假设用户配置的时区为 'Asia/Shanghai'
  'sink.partition-commit.policy.kind'='success-file'
);

-- 流式 sql,插入文件系统表
INSERT INTO fs_table
SELECT
    user_id,
    order_amount,
    DATE_FORMAT(ts_ltz, 'yyyy-MM-dd'),
    DATE_FORMAT(ts_ltz, 'HH')
FROM kafka_table;

-- 批式 sql,使用分区修剪进行选择
SELECT * FROM fs_table WHERE dt='2020-05-20' and `hour`='12';

配置速查与使用要点

以下是本连接器全部配置项的一览(均为 WITH 子句中的键,与 FileSystemConnectorOptions.java 中定义的 ConfigOption 一一对应):

配置键 默认值 类型 用途
connector 必选 String 固定为 filesystem
path 必选 String 数据目录路径
format 必选 String 读写格式(csv/json/avro/parquet/orc/debezium-json/canal-json/raw 等)
partition.default-name __DEFAULT_PARTITION__ String 动态分区字段值为 null/空串时的默认分区名
source.monitor-interval (无) Duration 目录监控间隔,>0 时源变为无界
source.path.regex-pattern (无) String 按绝对路径正则过滤待读取文件
source.report-statistics ALL String 源是否上报文件统计信息(ALL/NONE)
sink.shuffle-by-partition.enable false Boolean sink 阶段按动态分区字段 shuffle,减少文件数但可能数据倾斜
sink.rolling-policy.file-size 128MB MemorySize part 文件滚动大小阈值
sink.rolling-policy.rollover-interval 30 min Duration part 文件最大打开时长
sink.rolling-policy.inactivity-interval 30 min Duration part 文件最大空闲时长
sink.rolling-policy.check-interval 1 min Duration 时间类滚动策略的检查间隔
auto-compaction false Boolean 是否开启流式 sink 自动文件合并
compaction.file-size (无) MemorySize 合并目标文件大小,默认取滚动文件大小
compaction.parallelism (无) Integer 批模式下合并算子自定义并行度
sink.partition-commit.trigger process-time String 分区提交触发器(process-time/partition-time)
sink.partition-commit.delay 0 s Duration 分区提交延迟
sink.partition-commit.watermark-time-zone UTC String watermark 解析时区(partition-time 模式)
partition.time-extractor.kind default String 时间提取器类型(default/custom)
partition.time-extractor.class (无) String 自定义 PartitionTimeExtractor 实现类
partition.time-extractor.timestamp-pattern (无) String 从分区字段拼接 timestamp 的 pattern,如 $dt $hour:00:00
partition.time-extractor.timestamp-formatter yyyy-MM-dd HH:mm:ss String timestamp 字符串解析 formatter
sink.partition-commit.policy.kind (无) String 提交策略(metastore/success-file/custom,可组合)
sink.partition-commit.policy.class (无) String 自定义 PartitionCommitPolicy 实现类
sink.partition-commit.policy.class.parameters (无) String 传给自定义策略构造器的分号分隔参数
sink.partition-commit.success-file.name _SUCCESS String success-file 策略的文件名
sink.parallelism (无) Integer 写文件 sink 的并行度(仅 INSERT-ONLY 上游支持)

最后给出几点实战建议:

  1. 有界 vs 无界:默认只扫描一次路径即结束,若需要持续消费新文件,务必配置 source.monitor-interval,同时注意已处理文件清单会进入 checkpoint/savepoint 状态。
  2. 控制小文件:row format 用滚动策略 + checkpoint 间隔加速文件可见;bulk format 靠滚动策略与 checkpoint 共同决定文件大小;小 checkpoint 间隔场景请开启 auto-compaction 并评估可见延迟与反压风险。
  3. 分区提交时机:追求及时感知用 process-time + delay=0s(注意可能重复提交,自定义策略需幂等);追求数据完整用 partition-time + 合理的 delay,并在 TIMESTAMP_LTZ 水位线场景下正确配置 sink.partition-commit.watermark-time-zone。
登录后查看全文
flink