Apache Beam 2.27.0 版本发布详解:新增 ReadAllFromBigQuery、MongoDB IO 增强与 Hadoop 3 兼容
Apache Beam 2.27.0 版本发布详解:新增 ReadAllFromBigQuery、MongoDB IO 增强与 Hadoop 3 兼容
本文基于 Apache Beam 官方博客发布的 2.27.0 版本公告(beam-2.27.0.md)编写,并结合当前仓库源码对其中提到的核心特性进行深度解读。Apache Beam 是一个统一的批处理与流处理编程模型,本次 2.27.0 版本发布于 2020 年 12 月,包含多项新功能与改进,其中最具亮点的是新增了可在流水线运行时动态接收多个 BigQuery 读取请求的
ReadAllFromBigQuery变换,同时改善了 MongoDB IO 的使用体验,并开始为所有 Beam 版本发布 Java 11 容器镜像。
Apache Beam 2.27.0 于 2020 年 12 月 22 日发布(详见 下载页面)。本次发布包含多项新功能与改进,最核心的亮点包括:
- 新增
ReadAllFromBigQuery变换:可在流水线运行时接收多个从 BigQuery 读取数据的请求(PR 13170,BEAM-9650)。 - Java 11 容器镜像:从此版本开始,所有 Beam 版本都会发布 Java 11 容器镜像。
- MongoDB IO 增强:Python 版
ReadFromMongoDB可与 MongoDB Atlas 配合使用,且读取/写入时会在display_data中屏蔽密码信息。 - Hadoop 3 兼容性:依赖 Hadoop 的 Beam 模块已测试支持 Hadoop 3。
- Beam SQL 新增 Cloud Bigtable Provider 扩展,并新增了 Thrift 数据的 schema provider。
- Dataflow Runner 新增 combiner packing 流水线优化。
- 新增从 Apache Kafka 摄取数据到 Google Pub/Sub 的示例。
一、版本概览与发布时间
Apache Beam 2.27.0 于 2020 年 12 月 22 日发布。本次发布带来了若干新功能与改进,同时包含两个破坏性变更(Breaking Changes),用户升级前需要特别注意。官方发布说明页面可参考 download page。
版本亮点(Highlights)
- Java 11 Containers 发布:所有 Beam 版本现在都会发布 Java 11 容器镜像,这标志着 Beam 对 Java 11 的支持进入了一个新的阶段(对应 BEAM-8106,作为 Apache Beam 发布流程的一部分,现已支持发布 Java 11 SDK 容器镜像)。
- 新增
ReadAllFromBigQuery变换:这是一个可以在流水线运行时接收多个 BigQuery 读取请求的新变换,对流式流水线中刷新 side input 等场景非常有价值。
二、核心新特性:ReadAllFromBigQuery
2.1 背景与动机
在 2.27.0 之前,Beam 用户通过 ReadFromBigQuery 或 BigQuerySource 读取 BigQuery 数据时,读取的 table 或 query 是在流水线构建期静态确定的。这在许多场景下没问题,但如果想要在流水线运行期间动态决定读取哪些表、执行哪些查询(例如周期性刷新 side input),就无法实现了。
ReadAllFromBigQuery(BEAM-9650)正是为了解决这个问题而引入的。它允许将读取请求(查询或表引用)作为数据本身输入到流水线中,从而在运行时动态发起读取。
2.2 使用方式
在 Python SDK 中,ReadAllFromBigQuery 位于 apache_beam.io.gcp.bigquery 模块。其基本用法如下(参见 bigquery.py):
from apache_beam.io.gcp.bigquery import ReadFromBigQueryRequest, ReadAllFromBigQuery
read_requests = p | beam.Create([
ReadFromBigQueryRequest(query='SELECT * FROM mydataset.mytable'),
ReadFromBigQueryRequest(table='myproject.mydataset.mytable')])
results = read_requests | ReadAllFromBigQuery()
ReadFromBigQueryRequest 参数详解
ReadFromBigQueryRequest 是描述一次读取请求的载体(见 bigquery.py 中该类的定义),其构造参数包括:
| 参数 | 类型 | 默认值 | 说明 |
|---|---|---|---|
query |
str |
None |
SQL 查询语句,用于按查询结果读取数据 |
use_standard_sql |
bool |
True |
是否使用 BigQuery 标准 SQL 方言;设为 False 则使用旧版(legacy)SQL 方言。该参数仅对 query 输入生效,读取 table 时会被忽略 |
table |
str 或 TableReference |
None |
要读取的表 ID,需包含 project 和 dataset(例如 'PROJECT:DATASET.TABLE' 或 'DATASET.TABLE') |
flatten_results |
bool |
False |
是否将查询结果中的嵌套字段和重复字段扁平化 |
校验规则:query 与 table 二者只能指定一个。若同时指定两者,或两者都未指定,构造函数会抛出 ValueError。此外,若传入字符串形式的 table,要求其中必须包含 .(即必须是 PROJECT:DATASET.TABLE 或 DATASET.TABLE 形式的表引用)。
另外,每个 ReadFromBigQueryRequest 内部会生成一个基于时间戳与随机 token 的对象 ID(obj_id),用于生成 BigQuery 导出目录和作业名称,确保并发请求之间互不冲突。
2.3 典型应用场景:流式刷新 side input
官方文档给出了一个非常实用的场景:在流式流水线中周期性地刷新来自 BigQuery 的 side input(参见 bigquery.py):
side_input = (
p
| 'PeriodicImpulse' >> PeriodicImpulse(
first_timestamp, last_timestamp, interval, True)
| 'MapToReadRequest' >> beam.Map(
lambda x: ReadFromBigQueryRequest(table='dataset.table'))
| beam.io.ReadAllFromBigQuery())
main_input = (
p
| 'MpImpulse' >> beam.Create(sample_main_input_elements)
| 'MapMpToTimestamped' >> beam.Map(lambda src: TimestampedValue(src, src))
| 'WindowMpInto' >> beam.WindowInto(window.FixedWindows(main_input_windowing_interval)))
result = (
main_input
| 'ApplyCrossJoin' >> beam.FlatMap(
cross_join, rights=beam.pvalue.AsIter(side_input)))
这段代码的核心思路是:用 PeriodicImpulse 按固定间隔产生脉冲,每个脉冲映射为一个读取请求(例如定时读取 dataset.table),随后通过 ReadAllFromBigQuery 读回最新数据作为 side input,与主输入流做关联计算。这样,side input 中的数据就可以随着流水线运行不断刷新,实现了"动态读取 BigQuery"的效果。
2.4 运行时注意事项
根据官方文档的说明(见 bigquery.py):
- Runner 支持范围:该变换支持 Portable 与 Dataflow v2 runner。
- 临时数据集清理:该变换当前不会清理执行过程中创建的临时数据集(对应 BEAM-11359)。这意味着长期运行的流水线需要自行关注临时数据集的堆积。
从源码结构看,ReadAllFromBigQuery 是一个 PTransform(见 bigquery.py 中的类定义),它在执行时会为每一步生成类似 ReadAllFromBigQuery_%d 的步骤名,通过计数器保证多实例并存时命名唯一(bigquery.py#L3002-L3003)。这也从侧面印证了该变换是为"多条读取请求并发/串行执行"而设计的。
补充说明:Python SDK 的
ReadAllFromBigQuery在 2.27.0 中随该版本一起发布,当前仓库 bigquery.py 的模块文档与 2.34.0 的博客 beam-2.34.0.md 中也都有记载。
三、I/O 相关更新
3.1 MongoDB IO(Python)
本次发布在 Python SDK 的 MongoDB IO 上做了两处改进:
- 支持 MongoDB Atlas(BEAM-11266):
ReadFromMongoDB现在可以配合 MongoDB Atlas(云托管的 MongoDB 服务)使用。 - 密码脱敏(BEAM-11444):
ReadFromMongoDB/WriteToMongoDB会在display_data中屏蔽密码信息,避免连接 URI 中的密码泄露到流水线的展示数据(display data)中。
在 mongodbio.py 中,ReadFromMongoDB 的 display_data 方法只输出 database、collection、filter、projection、bucket_auto 等字段(mongodbio.py#L420-L428),WriteToMongoDB 的 display_data 则输出 database、collection、batch_size(mongodbio.py#L763-L768),均不包含连接 URI 或密码信息。从源码结构可以推断,连接参数通过 uri 与 extra_params(即 self.spec)在内部传递并用于创建 MongoClient(见 mongodbio.py#L408 与 #L783),而对外展示数据时则刻意省略,实现了密码脱敏。
3.2 BigQuery:ReadAllFromBigQuery(Java)
除了 Python SDK 之外,本次发布在 I/O 层面同时把 ReadAllFromBigQuery 作为新变换推出(对应 PR 13170 与 BEAM-9650),允许用户在流水线运行时提交多个 BigQuery 读取请求,其能力与上文 Python 侧一致,适用于流式刷新 side input 等场景。
四、新功能与改进(New Features / Improvements)
4.1 Hadoop 3 兼容性测试
依赖 Hadoop 的 Beam 模块现在会针对 Hadoop 3 进行兼容性测试(BEAM-8569)。需要说明的是,Hive/HCatalog 相关模块当时尚未完成(标注为 pending)。
4.2 Java 11 SDK 容器镜像
作为 Apache Beam 发布流程的一部分,现已支持发布 Java 11 SDK 容器镜像(BEAM-8106)。官方博客强调"Java 11 Containers are now published with all Beam releases",这意味着从 2.27.0 开始,用户可以在 Java 11 环境下获得官方发布的容器镜像,与 Java 8 镜像并存。
4.3 Beam SQL:Cloud Bigtable Provider 扩展
Beam SQL 新增了 Cloud Bigtable Provider 扩展(BEAM-11173、BEAM-11373)。这意味着在 Beam SQL 中可以直接通过 SQL 的方式访问和操作 Cloud Bigtable 数据,进一步扩展了 Beam SQL 的可查询数据源范围。
4.4 Thrift 数据 Schema Provider
新增了针对 Thrift 数据的 schema provider(BEAM-11338),使得 Beam 的 schema 体系可以识别 Thrift 序列化格式的数据结构,为后续基于 schema 的变换(如 SQL、schema-aware transforms)提供支持。
4.5 Dataflow Runner:Combiner Packing 优化
Dataflow Runner 新增了 combiner packing 流水线优化(BEAM-10641)。该优化会将多个可以合并的 combiner 打包到一起执行,从而减少中间数据传输与 shuffle 开销,提升流水线执行效率。
4.6 新示例:Kafka 到 Pub/Sub 的数据摄取
新增了一个将数据从 Apache Kafka 摄取到 Google Pub/Sub 的示例(BEAM-11065)。该示例展示了如何用 Beam 将两个流行的消息系统桥接起来,可作为流式数据管道搭建的参考起点。
五、破坏性变更(Breaking Changes)
升级到 2.27.0 的用户需要关注以下两个破坏性变更:
-
HBaseIO 依赖变更(BEAM-9278):HBaseIO 不再自带
hbase-shaded-client依赖,该依赖需要由用户自行提供。这通常意味着使用 HBaseIO 时,需要在自己的构建文件中显式声明 HBase shaded client 依赖,否则运行时可能会遇到ClassNotFoundException之类的错误。 -
Amazon Web Services 2 的
--region标志更名(BEAM-11331):amazon-web-services2模块中的--region命令行标志被替换为--awsRegion。使用旧参数名的既有脚本/作业提交命令需要同步更新,否则参数将无法被识别。
六、版本发布流程与容器镜像
从 2.27.0 开始,Apache Beam 的发布流程正式支持 Java 11 SDK 容器镜像的发布(BEAM-8106、sdks/python/container、sdks/go/container 与 sdks/typescript/container 目录下。Java 11 镜像的加入意味着 Beam 的多语言容器生态在 JDK 版本上更加完整,用户可以在 Java 11 运行时环境中直接使用官方发布的镜像运行 Beam 管道。
七、版本变更记录
除博客文章外,当前仓库的 CHANGES.md 中也记录了 2.27.0 相关的变更条目,读者可以结合该文件查阅更细粒度的版本演进信息。对于更完整的 JIRA 问题列表,官方发布说明页(download page)与详细发布说明(Release Notes)中提供了全部条目。
八、致谢与社区贡献
根据 git shortlog 统计,以下开发者为本 2.27.0 版本做出了贡献(感谢所有贡献者):
Ahmet Altay, Alan Myrvold, Alex Amato, Alexey Romanenko, Aliraza Nagamia, Allen Pradeep Xavier, Andrew Pilloud, andreyKaparulin, Ashwin Ramaswami, Boyuan Zhang, Brent Worden, Brian Hulette, Carlos Marin, Chamikara Jayalath, Costi Ciudatu, Damon Douglas, Daniel Collins, Daniel Oliveira, David Huntsperger, David Lu, David Moravek, David Wrede, dennis, Dennis Yung, dpcollins-google, Emily Ye, emkornfield, Esun Kim, Etienne Chauchot, Eugene Nikolaiev, Frank Zhao, Haizhou Zhao, Hector Acosta, Heejong Lee, Ilya, Iñigo San Jose Visiers, InigoSJ, Ismaël Mejía, janeliulwq, Jan Lukavský, Kamil Wasilewski, Kenneth Jung, Kenneth Knowles, Ke Wu, kileys, Kyle Weaver, lostluck, Matt Casters, Maximilian Michels, Michal Walenia, Mike Dewar, nehsyc, Nelson Osacky, Niels Basjes, Ning Kang, Pablo Estrada, palmere-google, Pawel Pasterz, Piotr Szuberski, purbanow, Reuven Lax, rHermes, Robert Bradshaw, Robert Burke, Rui Wang, Sam Rohde, Sam Whittle, Siyuan Chen, Tim Robertson, Tobiasz Kędzierski, tszerszen, Valentyn Tymofieiev, Tyson Hamilton, Udi Meiri, vachan-shetty, Xinyu Liu, Yichi Zhang, Yifan Mai, yoshiki.obata, Yueyang Qiu
结语
Apache Beam 2.27.0 是一个以"动态读取"与"生态兼容"为关键词的版本:ReadAllFromBigQuery 让 BigQuery 读取从"构建期静态确定"走向"运行时动态驱动",为流式 side input 刷新提供了官方推荐方案;MongoDB IO 在 Atlas 支持与密码脱敏上的改进提升了易用性与安全性;Hadoop 3 兼容性与 Java 11 容器镜像则进一步夯实了 Beam 在生产环境多技术栈下的适配能力。对于正在升级 Beam 的用户,务必关注 HBaseIO 依赖变更与 --region 标志更名两个破坏性变更,平滑完成版本迁移。