Apache Beam 2.29.0 版本解读:Spark 3 支持、Java 11 支持与确定性编码强制变更
Apache Beam 2.29.0 版本解读:Spark 3 支持、Java 11 支持与确定性编码强制变更
Apache Beam 2.29.0 于 2021 年 4 月 27 日发布,是 Beam 在 2021 年上半年的重要里程碑版本。本篇文章以官方发布公告 beam-2.29.0.md 为核心骨架,结合当前仓库源码,逐项解读该版本引入的 Spark 3 与 Java 11 官方支持、DataFrame API 能力增强、多项 I/O 连接器升级,以及一项直接影响既有流水线行为的破坏性变更——GroupByKey 与有状态 DoFn 的确定性编码强制。阅读本文后,你将掌握 2.29.0 的核心变化清单、受影响的迁移要点(尤其是编码与 Flink 版本弃用问题),并能依据仓库源码定位每个特性的真实实现。
版本概览
本次发布属于 Beam 2.x 系列的常规功能版本,包含新功能与既有功能改进两类变更。官方下载入口见 下载页 中的 2.29.0 小节,该小节同时提供官方源码包下载地址、SHA-512 校验和与 OpenPGP 签名文件,建议下载后按 Apache 发布完整性规范核对校验和与签名。
三大发布亮点
2.29.0 的 Highlights 集中在运行时与编程模型两个层面:
- Spark Classic 与 Portable Runner 正式支持 Spark 3(对应 BEAM-7093)。在仓库中,runners/spark/3 目录即是为 Spark 3 准备的 runner 实现,其中包含面向结构化流式处理的
SparkStructuredStreamingRunner、SparkStructuredStreamingPipelineOptions等类(见 runners/spark/3/src/main/java/org/apache/beam/runners/spark/structuredstreaming),核心翻译逻辑集中在translation包下的PipelineTranslator、PipelineTranslatorBatch及各*TranslatorBatch类中,说明 Spark 3 支持从 Batch 到 Structured Streaming 场景均有完整的翻译器覆盖。 - 大多数 Runner 获得官方 Java 11 支持(对应 BEAM-2530),覆盖 Dataflow、Flink、Spark 等主流执行引擎,使 Java 11 作为运行时成为官方认证的受支持环境。
- DataFrame API 支持
GroupBy.apply(对应 BEAM-11628)。在 Python SDK 中,DeferredGroupBy类实现了 pandasDataFrameGroupBy的延迟求值语义,其apply方法定义于 sdks/python/apache_beam/dataframe/frames.py,与 frame_base.py 中的DeferredFrame.apply共同构成 DataFrame API 的函数式变换基础。
I/O 连接器更新
2.29.0 在 I/O 层共带来四项实质性增强,涉及 S3、BigQuery、Kafka 与 Parquet 四个连接器。
S3 文件系统支持 AWS SDK V2(Java)
S3 文件系统此前基于 AWS Java SDK V1,2.29.0 起增加对 AWS SDK V2 的支持(对应 BEAM-7637)。在仓库的依赖定义中,BeamModulePlugin.groovy 同时声明了 aws_java_sdk_s3(V1:com.amazonaws:aws-java-sdk-s3)与 aws_java_sdk2_s3(V2:software.amazon.awssdk:s3)两套依赖,S3 模块的构建配置见 sdks/java/io/amazon-web-services/build.gradle。核心实现 S3FileSystem 位于 sdks/java/io/amazon-web-services/src/main/java/org/apache/beam/sdk/io/aws/s3/S3FileSystem.java,通过 S3Options 与 S3FileSystemSchemeRegistrar 完成 s3:// URI 的自动注册与配置解析,用户无需手工显式指定文件系统实现。
BigQuery 写入(文件加载)对无界数据使用 Runner 决定的分片
BigQuery sink 在执行**文件加载(file loads)**写入时,对无界数据(unbounded data)改用 Runner 决定的分片(runner determined sharding) 策略(对应 BEAM-11772)。从 sdks/python/apache_beam/io/gcp/bigquery.py 的写路径实现可以推断,该变更让分片数量不再由用户侧写死,而是交给执行引擎按实际数据规模动态决策,从而在流式写入 BigQuery 时获得更均衡的并发与更低的加载延迟。
KafkaIO 写入时支持 partition 属性
KafkaIO 的写端(sink)新增对 partition 属性的识别(对应 BEAM-11806):用户可以在写入记录时显式指定目标分区。在 KafkaIO.java 的 Write.expand 中,KV<K, V> 输入会被转换为 ProducerRecord(构造为 new ProducerRecord<>(topic, key, value)),而生产者记录本身支持携带分区信息;配合 withProducerConfigUpdates(如示例中的 compression.type 等生产者配置,见 KafkaIO.java 的 Javadoc 示例),用户可在写入流程中同时控制分区选择与生产者参数。需要说明:若要按记录粒度控制 topic 与分区,官方推荐直接使用 PCollection<ProducerRecord<K, V>> 作为 WriteRecords 变换的输入。
ParquetIO 支持 Hadoop 配置
ParquetIO 新增对 Hadoop Configuration 的支持(对应 BEAM-11913),使得读写 Parquet 时可以注入自定义 Hadoop 配置(如编解码器、行组大小等)。在 ParquetIO.java 的读取实现中,HadoopReadOptions 会取出 Configuration 并传递给 readSupport.prepareForRead 完成 schema 与元数据准备,即用户的 Hadoop 配置会真正进入 Parquet 底层读路径。
新功能与改进
除 I/O 外,2.29.0 在编程模型与执行引擎层面还有以下增强。
DataFrame API 支持 pandas 1.2.x
Python DataFrame API 将支持的 pandas 版本上限提升至 1.2.x(对应 BEAM-11531),并修复了多个 DataFrame API 相关问题(对应 BEAM-12071、BEAM-11929),涉及 DeferredFrame 基类的变换语义与 DeferredGroupBy 等分组操作的正确性,相关实现见 sdks/python/apache_beam/dataframe/frames.py 与 sdks/python/apache_beam/dataframe/frame_base.py。
SQL 变换支持 DDL
Beam SQL 变换(SQL transform)新增 DDL(数据定义语言)支持(对应 BEAM-11850),允许在 SQL 流水线中执行建表、删表等定义类语句,进一步收窄了 SQL 与原生 DataFrame/核心变换之间的能力差距。
Flink Runner 升级至 Flink 1.12.2
Flink Runner 在此版本升级到 Flink 1.12.2(对应 BEAM-11941)。仓库中 runners/flink/1.12 目录即为 Flink 1.12 兼容层,其 build.gradle 定义了 Flink 1.12 系列的版本管理,兼容层源码(如 FlinkSourceCompat、SplitEnumeratorCompat 等,见 runners/flink/1.12/src/main/java/org/apache/beam/runners/flink/translation/wrappers/streaming)用于适配不同 Flink 版本间的 API 差异。
破坏性变更:GroupByKey 与有状态 DoFn 强制确定性编码
这是 2.29.0 中对既有流水线影响最大的一项变更(对应 BEAM-11719):GroupByKey 与有状态 DoFn(Stateful DoFn)现在强制要求使用确定性编码(deterministic coding)。
变更背景与影响
此前,非确定性编码(如 Python 的 pickle 编码)被允许用于按键分组的操作。由于 Runner 可能基于键的编码字节进行分组,非确定性编码会导致某些情况下键无法被正确归组,产生难以排查的数据正确性问题。2.29.0 起,这类编码在键分组场景下被默认禁止。
在 Python SDK 中,该约束的判定逻辑位于 sdks/python/apache_beam/runners/runner.py:Runner 会检查 pipeline options 中 allow_non_deterministic_key_coders 是否为 False,并在运行时对 GroupByKey 等操作使用的键编码器执行确定性校验。选项定义见 sdks/python/apache_beam/options/pipeline_options.py,默认值为 False。
如何恢复旧行为
官方提供两种向后兼容手段,用于临时恢复 2.29.0 之前的非确定性编码行为(注意:两种方式都不安全,仅在确有兼容需求时使用):
- 注册回退编码器:通过
beam.coders.registry.register_fallback_coder注册FakeDeterministicFastPrimitivesCoder:
beam.coders.registry.register_fallback_coder(
beam.coders.coders.FakeDeterministicFastPrimitivesCoder())
该编码器定义于 sdks/python/apache_beam/coders/coders.py,继承自 FastPrimitivesCoder,其唯一的特殊之处是 is_deterministic() 恒返回 True——即"宣称自己是确定性的",从而绕过校验,其类注释明确说明这是为恢复 BEAM-11719 变更前行为而提供的兼容方案。
- 使用 pipeline 选项:在启动流水线时传入
--allow_non_deterministic_key_coders(Python CLI 参数,等价于设置TypeOptions中的同名布尔字段),该参数的作用正如其帮助文本所述:允许在 GroupByKey 等键分组操作中使用非确定性编码器(如 pickle),但这是不安全的,因为 Runner 可能基于键的编码字节进行分组,仅用于向后兼容。
在 sdks/python/apache_beam/transforms/ptransform_test.py 与 sdks/python/apache_beam/coders/coders_test_common.py 中可找到该编码器与选项的测试用例,可作为理解行为边界的参考。
迁移建议:长期来看,应尽可能为键类型提供真正的确定性编码器(如基于 proto、字符串或基础类型的编码),而非依赖兼容开关;兼容开关更适合作为平滑迁移窗口内的临时手段。
弃用与已知问题
Flink 1.8 / 1.9 支持将在下个版本移除
2.29.0 明确宣告:对 Flink 1.8 与 1.9 的支持将在下一个版本(2.30.0)中移除(对应 BEAM-11948)。从仓库现状看,runners/flink 目录维护 1.12 至 1.16 等多个版本的兼容层(如 runners/flink/1.13/build.gradle 定义 Flink 1.13.5、runners/flink/1.14/build.gradle 定义 Flink 1.14.3),可以推断 Beam 的 Flink 集成采用"每个大版本独立兼容目录"的维护模式,因此仍在使用 Flink 1.8/1.9 的作业应尽快规划升级到受支持的版本。
已知问题
官方建议通过 JIRA 上"受影响版本 = 2.29.0"的过滤器按优先级查看该版本的全部已知问题清单,评估升级风险后再进行生产环境迁移。
下载与升级指引
- 获取发布物:前往 下载页 获取 2.29.0 的官方源码包、SHA-512 校验和与签名;SDK 工件可通过各语言仓库获取(Java SDK 经 Maven 中央仓库、Python SDK 经 PyPI、Go SDK 经 Go Modules),具体方式见 下载页的"使用中央仓库"一节。
- 升级前检查清单:① 确认流水线中 GroupByKey/有状态 DoFn 的键编码是否为确定性编码,必要时先通过回退编码器或
allow_non_deterministic_key_coders平滑过渡;② 确认 Flink 版本是否为 1.8/1.9(将随 2.30.0 移除)或 1.12.2 兼容范围内的版本;③ 如使用 DataFrame API,确认 pandas 版本在 1.2.x 支持范围内;④ 如使用 S3 连接器,评估 AWS SDK V2 迁移对既有配置的影响。 - 运行环境:2.29.0 起 Java 11 成为 Dataflow、Flink、Spark 等主要 Runner 的官方支持版本,可在这些 Runner 上以 Java 11 编译与运行 Beam 流水线。
总结
Apache Beam 2.29.0 是一次兼具"平台能力扩展"与"正确性收紧"的版本:Spark 3 与 Java 11 的官方支持拓宽了部署面;DataFrame 的 GroupBy.apply、pandas 1.2.x、SQL DDL 提升了编程模型表达能力;S3 SDK V2、KafkaIO 分区写入、BigQuery 动态分片与 ParquetIO Hadoop 配置增强了 I/O 层;而 GroupByKey 确定性编码的强制实施则是所有升级者必须关注的行为变更。建议升级时优先对照本文的迁移检查清单完成验证,再逐步切换生产流水线。