Apache Beam 2.14.0 版本深度解读:Python 3 扩展、Spark 可移植 Runner 与新一代 I/O 生态
Apache Beam 2.14.0 版本深度解读:Python 3 扩展、Spark 可移植 Runner 与新一代 I/O 生态
Apache Beam 2.14.0 于 2019 年 7 月底发布,是 Beam 在可移植性(Portability)与多语言 SDK 支持上迈出关键一步的版本:Python SDK 正式扩展到 Python 3.6/3.7,Spark 可移植 Runner 以批处理模式覆盖 Java、Python、Go 三种语言,同时新增 Hazelcast Jet Runner,并在 DynamoDB、Redis、BigQuery、HCatalog 等 I/O 上带来一批新能力。本文基于官方发布说明,并结合当前仓库源码,逐项拆解该版本的核心变化、实现原理与升级注意事项。
一、版本概况与三大核心亮点
Apache Beam 2.14.0 是 Beam 在 2019 年 8 月 1 日前后发布的正式版本,官方发布说明将其定位为"同时包含改进与新功能"的版本,其三大核心亮点如下:
- Python 3 支持扩展至 3.6 与 3.7:此前 Beam Python SDK 主要面向 Python 2 与早期 Python 3 版本,2.14.0 将受支持的 Python 3 小版本推进到 3.6 和 3.7,并伴随一系列 Python 3 兼容性改进(如修复 BigQuery
bytes类型在 Python 3 下的读写问题)。 - Spark 可移植 Runner(批处理)可用:通过 Portability Framework,Java、Python、Go 三种语言的 Beam 管道均可运行在 Spark 之上,统一了多语言管道在 Spark 集群上的执行入口。
- 新增 Hazelcast Jet Runner:Beam 引入 Jet 作为新的执行引擎选项,对应 JIRA BEAM-7305,为需要低延迟、内存级计算的场景提供了新的 Runner 选择;该 Runner 的实现位于 runners/jet/src/main/java/org/apache/beam/runners/jet/JetRunner.java。
说明:本文以 2.14.0 版本发布说明为核心,同时引用当前仓库中的源码与测试作为佐证;部分链接属于历史 JIRA 与邮件列表记录,不在此重复给出外部链接。
二、Python SDK:Python 3 里程碑与新增变换
2.1 Python 3.6 / 3.7 支持
2.14.0 将 Python SDK 的 Python 3 支持从早期版本推进到 3.6 与 3.7。这一变化意味着 Python 开发者可以基于更新的语言特性编写 Beam 管道,同时获得更完善的标准库与工具链支持。与 Python 3 相关的还有一项直接修复:BigQuery 对 bytes 类型的支持在 Python 3 下被修正(BEAM-6769),此前该类型在 Python 3 的编解码链路中存在兼容性问题。
2.2 DoFn 生命周期扩展:setup 与 teardown
Python SDK 在本版本中为 DoFn 新增了 setup 与 teardown 生命周期方法(BEAM-562),与 Java SDK 的生命周期模型对齐:
setup:在 worker 处理 bundle 之前调用,用于初始化跨 bundle 复用的临时资源,例如建立网络连接、打开数据库会话等;teardown:在 worker 结束处理时调用,用于释放setup中创建的资源。
在源码中,这两个方法的默认实现位于 sdks/python/apache_beam/transforms/core.py 的 DoFn 基类内(setup 位于约第 668 行,teardown 位于约第 691 行),其文档明确指出:"这是初始化易失性内存资源的合适位置,资源可以在 DoFn.teardown 中释放"。与此配套的 start_bundle / finish_bundle 钩子也一并保留,开发者可据此组织细粒度的资源生命周期。
2.3 新增变换:ApproximateUnique、Latest、Reify、ToString、WithKeys
本版本为 Python SDK 引入了五个常用变换,丰富了 transforms 库的覆盖面:
ApproximateUnique(BEAM-6693)
用于以近似方式统计唯一元素个数,避免精确去重带来的内存开销。其实现位于 sdks/python/apache_beam/transforms/stats.py(ApproximateUnique 类约在第 90 行),核心思路是:对输入元素做哈希,利用采样到的哈希值分布外推整个哈希空间的规模。使用方式为:
# 全局唯一值近似统计
pcoll | 'ApproximateUnique.Globally' >> \
apache_beam.transforms.ApproximateUnique.Globally(size=100)
# 按 Key 分组统计
kv_pcoll | 'ApproximateUnique.PerKey' >> \
apache_beam.transforms.ApproximateUnique.PerKey(error=0.05)
参数约束可从源码中确认:size 必须是不小于 16 的整数(估计误差约为 2 / sqrt(sample_size));error 必须是 0.01 到 0.50 之间的浮点数,且 size 与 error 二者只能指定其一,当传入 error 时样本量按 ceil(4.0 / error²) 计算。哈希实现优先使用 murmurhash(mmh3),未安装时回退到 md5 并给出日志警告;哈希空间为 2^64。
Latest(BEAM-6695) 用于在流式/乱序数据中取每个 Key 或全局的最新元素(依据元素时间戳),适用于"取最近状态"类场景。
Reify(BEAM-7019)
用于在"隐式形式"与"显式形式"之间转换 Beam 值。实现位于 sdks/python/apache_beam/transforms/util.py(Reify 类约在第 1369 行),提供三种子变换:
Reify.Timestamp:把元素包装为TimestampedValue,使其时间戳显式可见;Reify.Window:把元素转换为(element, timestamp, window)三元组并携带时间戳;Reify.TimestampInValue:把 KV 中的 Value 包装为携带时间戳的TimestampedValue。
pcoll | apache_beam.transforms.Reify.Timestamp()
pcoll | apache_beam.transforms.Reify.Window()
ToString(BEAM-7021)
将元素或可迭代对象转为字符串。同一定义于 util.py(ToString 类约在第 1265 行),提供:
ToString.Element():把单个元素映射为str(element);ToString.Iterables(delimiter=','):把可迭代元素用分隔符(默认,)拼接为字符串,末尾不带分隔符;ToString.Kvs:Iterables的别名,用于 KV 集合场景。
WithKeys(BEAM-7023)
为 PCollection 中的每个元素附加一个 Key,把普通元素转换为 KV 形式,是后续 GroupByKey、CombinePerKey 等按 Key 操作的前置步骤;该变换的测试覆盖可见于 sdks/python/apache_beam/transforms/util_test.py(WithKeysTest 约在第 986 行)。
2.4 BoundedSource 包装器与 SDF
Python SDK 还新增了面向 Splittable DoFn(SDF)的 BoundedSource 包装器(BEAM-7443),允许将基于 SDF 实现的动态分片数据源以传统有界 Source 的形式接入管道,简化了从旧式 Source API 迁移的路径。
三、新增与强化的 I/O 连接器
3.1 新增 DynamoDB IO(Java)
本版本为 Java SDK 引入 Amazon DynamoDB 连接器(BEAM-7043)。其完整实现位于 sdks/java/io/amazon-web-services/src/main/java/org/apache/beam/sdk/io/aws/dynamodb/DynamoDBIO.java,以 DynamoDBIO.read() 与 DynamoDBIO.write() 两个 PTransform 提供读写能力。
读取(Read):核心是基于 DynamoDB Scan API 的分段并行扫描。源码中的执行链路可以清晰看到:
expand方法校验withScanRequestFn()与withAwsClientsProvider()必须提供,且 ScanRequest 的TotalSegments必须大于 0(DynamoDBIO.java#L230-L254);SplitFn根据TotalSegments把读取规格拆分为多个带不同segmentId的切片;ReadFn对每个分段执行client.scan(scanRequest),并利用LastEvaluatedKey循环拉取,直到取完全部记录(DynamoDBIO.java#L268-L286)。
读取示例(来自源码注释):
PCollection<List<Map<String, AttributeValue>>> output =
pipeline.apply(
DynamoDBIO.<List<Map<String, AttributeValue>>>read()
.withAwsClientsProvider(new BasicDynamoDBProvider(accessKey, secretKey, region))
.withScanRequestFn(
(SerializableFunction<Void, ScanRequest>)
input -> new ScanRequest(tableName).withTotalSegments(1))
.items());
其中 items() 会装配好默认的 ScanResult -> List<Map<String, AttributeValue>> 映射与 ListCoder/MapCoder/AttributeValueCoder 编码器;TotalSegments 应依据 worker 数量设置,以决定并行度。
写入(Write):基于 DynamoDB BatchWriteItem API,写入示例为:
data.apply(
DynamoDBIO.<WriteRequest>write()
.withWriteRequestMapperFn(
(SerializableFunction<T, KV<String, WriteRequest>>)
t -> KV.of(tableName, writeRequest))
.withRetryConfiguration(
DynamoDBIO.RetryConfiguration.create(5, Duration.standardMinutes(1)))
.withAwsClientsProvider(new BasicDynamoDbProvider(accessKey, secretKey, region)));
写入侧值得注意的工程细节:
- 批量大小:
WriteFn中定义BATCH_SIZE = 25(DynamoDBIO.java#L493),与 AWS 单次 BatchWriteItem 最多 25 条的限制对齐; - 去重:AWS 不允许单个批次内出现重复主键。若数据流本身可能是 upsert 流(主键可能重复),必须通过
withDeduplicateKeys(List)显式声明主键列名,否则可能触发ValidationError;若未声明去重键,完全相同的元素仍会被自动去重; - 重试:
RetryConfiguration.create(maxAttempts, maxDuration)支持配置最大尝试次数与最大累计重试时长,初始退避默认 5 秒,采用指数退避策略;默认重试判定条件覆盖IOException以及状态码为 503(服务不可用)的AmazonDynamoDBException(DynamoDBIO.java#L370-L381); - 指标:写入失败会通过
Metrics.counter(WriteFn.class, "DynamoDB_Write_Failures")暴露失败计数。
迁移提示:当前仓库中该模块(
beam-sdks-java-io-amazon-web-services)已标记@Deprecated,官方建议迁移到新模块beam-sdks-java-io-amazon-web-services2(sdks/java/io/amazon-web-services2/.../dynamodb/DynamoDBIO.java),两者 API 形态相近。对于 2.14.0 时代的读者,这意味着当时引入的 DynamoDB 能力在今天已具备更现代的继任实现。
3.2 RedisIO 新增 INCRBY / DECRBY 原子计数操作
RedisIO 在本版本中为写入路径新增 INCRBY 与 DECRBY 两种写入方法(BEAM-7286)。实现位于 sdks/java/io/redis/src/main/java/org/apache/beam/sdk/io/redis/RedisIO.java,Write.Method 枚举(约第 445 行)完整列举了八种写入语义:
| 方法 | 底层 Redis 命令 | 语义 |
|---|---|---|
SET |
SET | 覆盖式写入 |
APPEND |
APPEND | 字符串尾部追加 |
LPUSH |
LPUSH | 列表头部插入 |
RPUSH |
RPUSH | 列表尾部插入 |
SADD |
SADD | 集合插入,重复值忽略 |
PFADD |
PFADD | HyperLogLog 结构插入 |
INCRBY |
INCRBY | 按给定值递增计数器 |
DECRBY |
DECRBY | 按给定值递减计数器 |
使用示例(来自源码注释的扩展):
pipeline
.apply(...) // PCollection<KV<String, String>>,Value 即增减量
.apply(RedisIO.write()
.withEndpoint("::1", 6379)
.withAuth("authPassword") // 可选
.withTimeout(60000) // 可选,连接超时毫秒数
.withMethod(RedisIO.Write.Method.INCRBY));
WriteFn 内部会依据所选 Method 分发到不同的 Jedis 调用(见 RedisIO.java#L605-L607 附近的 INCRBY/DECRBY 分支),并在 Write.Method 枚举注释中明确:INCRBY 将计数器按给定值递增,DECRBY 按给定值递减。这使 Beam 管道可以直接承担 Redis 计数器的聚合与落库职责,而无需额外编写客户端代码。此外,该 IO 还提供 read()、readKeyPatterns()(以输入 PCollection 元素作为 key pattern 请求数据)与 writeStreams()(基于 XADD 的 Redis Streams 写入,支持 withMaxLen 与 withApproximateTrim)。
3.3 BigQuery:Schema 支持与 ValueProvider GCS 路径
Schema 支持(Java,BEAM-6673 / BEAM-6674):BigQuery 读取与 JDBC 数据源在 2.14.0 中获得 Beam Schema 支持,允许以统一的 Row/Schema 模型消费外部数据。以 BigQuery 写入为例,BigQueryIO.Write 提供多种 Schema 指定方式(见 sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.java 约第 2680-2700 行):
withSchema(TableSchema):直接传入 BigQuery 原生 TableSchema;withJsonSchema(String):传入 JSON 序列化的表结构,内部通过BigQueryHelpers.toJsonString归一化;withSchema(ValueProvider<TableSchema>)/withJsonSchema(ValueProvider<String>):支持延迟求值的动态表结构;withSchemaFromView(PCollectionView):从 PCollectionView 中读取表结构,适合多表动态目的地场景。
ValueProvider 定义的 GCS 路径(Java,BEAM-7603):WriteToBigQuery 的文件加载(File Loads)模式现在支持使用 ValueProvider 定义 GCS 中间存储位置,使管道可以在运行时(而非编译期)解析 GCS 路径,提升了对环境差异化部署的适配能力。
bytes 类型修复(Python 3,BEAM-6769):BigQuery 的 bytes 类型在 Python 3 下的编解码问题被修复,二进制字段的读写恢复正常。
SQL Row Estimation(BEAM-7513):为 BigQueryTable 增加了 SQL 行数估算支持,便于优化器与调度器预估数据规模。
3.4 HCatalogIO 支持无界读取(Java)
HCatalogIO 在本版本中支持以无界(流式)模式读取 HCatRecord(BEAM-7450)。实现位于 sdks/java/io/hcatalog/src/main/java/org/apache/beam/sdk/io/hcatalog/HCatalogIO.java,其源码注释明确说明:无界模式下 HCatalogIO 会持续轮询新分区并读取相应数据,若提供了终止条件,则在条件满足后停止读取(约第 96-108 行)。典型配置:
Map<String, String> configProperties = new HashMap<>();
configProperties.put("hive.metastore.uris", "thrift://metastore-host:port");
pipeline
.apply(HCatalogIO.read()
.withConfigProperties(configProperties)
.withDatabase("default") // 可选,默认 default
.withTable("employee")
.withPollingInterval(Duration.millis(15000)) // 每 15 秒轮询新分区
.withTerminationCondition(
Watch.Growth.afterTotalOf(Duration.millis(60000)))); // 可选,终止条件
其中 withPollingInterval 控制分区轮询频率,withTerminationCondition 基于 Watch.Growth 提供"总量超时即停止"的语义;对应的有界读取、写入(withPartition、withBatchSize(1024L) 默认批大小)能力也一并在该文件中体现。
四、Runner 层的演进
4.1 Spark 可移植 Runner(批处理)
2.14.0 正式提供 Spark 可移植 Runner 的批处理能力,Java、Python、Go 三种 SDK 的管道都可以通过 Portability 协议运行在 Spark 集群上。配套的版本升级是:Spark Runner 升级到 Spark 2.4.3(BEAM-7265),Runner 主体位于 runners/spark/src/main/java/org/apache/beam/runners/spark/SparkRunner.java。这意味着用户可以在 Spark 既有运维体系内运行 Beam 管道,同时借助 Portability Framework 混用多种语言的 Beam SDK。
4.2 Hazelcast Jet Runner
新增的 Jet Runner(BEAM-7305)把 Hazelcast Jet 纳入 Beam 的 Runner 家族。Jet 面向内存级、低延迟的分布式计算,适合需要快速迭代的批/流场景。其核心类位于 runners/jet/src/main/java/org/apache/beam/runners/jet/,包含 JetRunner、JetGraphVisitor(将 Beam 管道图翻译为 Jet DAG)、JetTransformTranslators(各 PTransform 的翻译逻辑)与 JetPipelineResult 等,结构上与其他 Runner 的"图翻译 + 执行适配"模式一致。
4.3 Flink Runner:自动分片与稳定性修复
- 流式 Sink 自动分片(BEAM-5865):FlinkRunner 对流式写入端(streaming sinks)引入自动分片(auto sharding),使并行度能够随数据量与吞吐自动调整,降低手动调优成本;
- 重缩放问题修复(BEAM-7144):修复了 Flink >= 1.6 版本下的 re-scaling 问题,提升动态扩缩容场景的稳定性;
- 有界读 OOM 修复(BEAM-7442):修复 Flink Runner 执行有界读取时的内存溢出(OOM)问题,改善大批量读取的资源占用。
五、引擎内部的现代化改进
- Guava 不再被 relocate,改为依赖自有 vendored 版本(BEAM-6620):此前 Beam 会对第三方 Guava 做包 relocation 以避免版本冲突;2.14.0 起 Beam 只依赖自己 vendored 的 Guava(源码中可见
org.apache.beam.vendor.guava前缀的引用),既规避了与用户应用的类路径冲突,又保持了版本的可控性; - 外部排序器移除 Hadoop 依赖(BEAM-7268):external sorter 不再依赖 Hadoop,减少了运行时依赖体积与潜在冲突面;
- JVM 初始化 Hook(BEAM-6872):为 worker 提供用户自定义的 JVM 初始化钩子,便于在作业执行前完成自定义类加载、系统属性设置等初始化工作;
- Portable SDK worker 环境过期选项(BEAM-7348):新增可让 portable SDK worker 环境按策略过期的选项,避免 worker 环境无限期驻留造成的资源浪费。
六、破坏性变更与弃用
本版本的主要破坏性变更为一项 API 弃用:
- JdbcIO 的
setClientConfiguration/getClientConfiguration被弃用(BEAM-7263):在 sdks/java/io/jdbc/src/main/java/org/apache/beam/sdk/io/jdbc/JdbcIO.java 中,@Deprecated标注还覆盖了诸如withCoder等接口(约第 1275 行起),注释表明"JdbcIO 已能够从其他参数推断合适的 coder"。升级到 2.14.0 及后续版本时,应检查并迁移这些被弃用的调用。
七、Bug 修复清单
除前述专项修复外,2.14.0 还包含以下修复与升级:
- 修复拼接压缩文件的读取(Python,BEAM-6952):解决多个压缩文件拼接后读取不完整/错乱的问题;
- 修复 SQL
EXCEPT DISTINCT行为(BEAM-7194):纠正 Beam SQL 中EXCEPT DISTINCT的集合语义; - 修复 HdfsFileSystem 目录匹配(BEAM-7561):使 HDFS 文件系统能够正确匹配目录路径;
- 升级 Jackson 至 2.9.9(BEAM-7465):随附安全与功能修复;
- Spark Runner 升级至 Spark 2.4.3(BEAM-7265);
- 以及其他若干 bug 修复与性能改进。
八、已知问题与升级建议
2.14.0 发布说明明确披露了两个已知问题,升级前务必评估影响:
- 请勿在本版本使用 Python MongoDB 数据源:Python MongoDB 数据源虽在本版本引入(BEAM-5148),但存在可能导致数据丢失的已知缺陷(详见 BEAM-7866)。涉及 MongoDB 读取的 Python 管道应等待后续修复版本;
- macOS 10.15 无法安装 Python SDK:受操作系统环境限制,该版本 Python SDK 在 macOS 10.15 上的安装存在问题(详见 BEAM-8368),相关用户可选用其他平台或等待修复版本。
九、社区贡献
根据 git shortlog 统计,2.14.0 版本共有百余名贡献者参与,涵盖来自 Google、Apple、Lyft、PayPal、Ververica(现阿里云)等组织的工程师,以及大量独立开发者。版本发布说明对全部贡献者表示了致谢。
总结
Apache Beam 2.14.0 是 Beam 可移植性路线上的重要节点:Python 3.6/3.7 支持与 setup/teardown 生命周期完善了 Python SDK 的工程能力,ApproximateUnique、Latest、Reify、ToString、WithKeys 等新变换补齐了常用数据处理原语;Spark 可移植 Runner 与 Jet Runner 拓宽了执行引擎的选择;DynamoDB、Redis、HCatalog 等 I/O 的增强让 Beam 的数据接入面更加完整。对于希望了解 Beam 演进脉络或评估升级路径的开发者,该版本既是一次功能扩充,也是一次依赖与 API 层面的整理,升级时建议重点关注 JdbcIO 弃用项与 Python MongoDB 数据丢失问题。